Bibliographic Metadata
Bibliographic Metadata
- TitleDistributed asynchronous stochastic approximation algorithms with unbounded stochastic information delays - theory and applications : / Adrian Redder ; Advisors: Prof. Dr. Holger Karl, Prof. Dr. Arunselvan Ramaswamy
- Translated titleVerteilte asynchrone stochastische Approximationsalgorithmen mit unbeschränkten stochastischen Informationsdelays - Theorie und Anwendungen
- Author
- Participants
- Published
- Description1 Online-Ressource (187 Seiten)
- Institutional NoteUniversität Paderborn, Dissertation, 2024
- AnnotationTag der Verteidigung: 05.04.2024
- Defended on2024-04-05
- LanguageEnglish
- Document TypesDissertation (PhD)
- URN
- DOI
Links
- Social MediaShare
- Reference
- IIIF
Files
Classification
Zusammenfassung
Teil I dieser Arbeit untersucht die Stabilität und Konvergenz von verteilten stochastischen Approximationsalgorithmen (SA), die durch Age-of-Information (AoI) beeinflusst werden. Das Hauptergebnis ist eine Verallgemeinerung des SA-Stabilitätstheorems von Borkar und Meyn auf verteilte SA, das bisher nur für beschränkte AoI-Prozesse bekannt war. Über verteilte SA hinaus ermöglicht dieses Ergebnis ein neues Stabilitätstheorem für SA mit Momentum. Als Anwendung des neuen verteilten SA-Stabilitätstheorems wird in dieser Arbeit der asynchrone stochastische Gradientenabstieg untersucht und eine AoI-abhängige Konvergenzratenabschätzung vorgestellt. Schließlich wird eine spezielle verteilte SA-Situation für Multi-Agenten Markov-Games betrachtet. Zunächst wird ein neuartiger Deep Multi-Agenten-Actor-Critic Reinforcement-Learning-Algorithmus vorgeschlagen, der für das Online-Lernen auf der Basis von kommunizierten Daten geeignet ist. Weiter wird die Konvergenz des Algorithmus unter milden Kommunikationsannahmen gezeigt. Darüber hinaus werden Bedingungen an das AoI der Daten aus der Lernumgebung (des kontrollierten Markov-Prozesses) charakterisiert, um die Konvergenz des resultierenden Zustandsmarkov-Prozesses zu einer stationären Verteilung zu gewährleisten. Die grundlegende Eigenschaft für die Analyse verteilter SA in Teil I ist die Existenz von Zufallsvariablen mit bestimmten Momentschranken, die die jeweiligen AoI-Prozesse stochastisch dominieren. Teil II dieser Arbeit untersucht daher verschiedene AoI-Modelle, um die Existenz von AoI-dominierenden Zufallsvariablen und allgemein die Verteilung von AoI-Prozessen zu charakterisieren. Insbesondere wird gezeigt, wie stark mischende Ereignisprozesse sowie asynchrones Rechnen modelliert als parallele Punktprozesse zu AoI-Prozessen mit dominierenden Zufallsvariablen führen.
Abstract
Part I of this thesis studies the stability and convergence of distributed stochastic approximation (SA) algorithms affected by age-of-information (AoI). The main result is a generalization of Borkar and Meyn's SA stability theorem to distributed SA algorithms, previously known only for bounded AoI processes. Beyond distributed SA, this result enables a novel stability theorem for SA algorithms with heavy ball momentum. As an application of the established distributed BMT, the thesis studies asynchronous stochastic gradient descent, for which an AoI-dependent convergence rate estimate is presented. Finally, a special distributed SA setting for Markov games is considered. First, a novel deep multi-agent actor-critic reinforcement learning algorithm is proposed, which is suitable for online learning based on communicated data. Second, the algorithm's convergence is obtained under mild communication assumptions. Furthermore, conditions on the AoI of data sampled from the environment (the controlled Markov process) are characterized to ensure convergence of the resulting state Markov process to a stationary distribution. The fundamental property for the distributed SA analyses in Part I is the existence of random variables with certain moment bounds that stochastically dominate the respective AoI processes. Part II of this thesis thus studies different AoI models to characterize the existence of AoI dominating random variables and, in general, AoI distributions. In particular, it is shown how strongly mixing event processes and asynchronous computing modeled as a parallel point process give rise to AoI processes with dominating random variables.
Content
Stats
- The PDF-Document has been downloaded 38 times.
License/Rightsstatement
