Die Coflow-Abstraktion wird zur Spezifikation der Netzressourcenanforderungen von datenparallelen Anwendungen verwendet. Sie repräsentiert korrelierte Flüsse in Datenflussmodellen wie MapReduce oder Partition-Aggregate. In dieser Dissertation zeige ich, dass manuell entworfene Online-Coflow-Scheduler zur Zuweisung von Datenraten an solche Flüsse durch einen auf Reinforcement Learning (RL) basierenden Coflow-Scheduler ersetzt werden können. Dies automatisiert die Zuweisung von Netzressourcen an Coflows über den Entwurf eines Verfahrens hinaus. Konkret lernt ein RL-basierter Coflow-Scheduler Planungsrichtlinien, um ein Leistungsziel von Coflows zu optimieren, z. B. die Maximierung der Coflow-Zulassungen bei gleichzeitiger Einhaltung ihrer Fristen. In dieser Dissertation habe ich drei Hauptbeiträge geleistet: Zunächst stelle ich eine neue Coflow-Heuristik vor, die freigegebene Netzressourcen von Coflows nutzt, die vor Fristablauf einer anderen Coflow-Anforderung enden und diese an andere, ggf. neue Coflows zuweist. Dann zeige ich, dass Flow-oder Coflow-Heuristiken im Allgemeinen dazu neigen, bei der Maximierung der (Co)Flow-Zulassungen schlecht abzuschneiden, wenn im Datenverkehr stochastische Flows oder Coflows ankommen. Als Nächstes zeige ich, dass ein Online-Flow-Scheduler mit Hilfe von Reinforcement Learning eine Scheduling-Politik zur Maximierung der Flow-Zulassungen erlernen kann. Schließlich zeige ich, wie ein Coflow-Scheduler bei stochastischen Coflow-Ankünften Strategien erlernen kann, um die Coflow-Zulassungen zu maximieren und gleichzeitig ihre Fristen einhalten.
Bibliographic Metadata
- TitleAutomating network resource allocation for coflows with deadlines / by Asif Hasnain ; [thesis supervisor: Prof. Dr. Holger Karl, second supervisor: Prof. Dr. Friedhelm Meyer auf der Heide]
- Author
- Participants
- Published
- Description1 Online-Ressource (xvii, 96 Seiten) : Diagramme
- Institutional NoteUniversität Paderborn, Dissertation, 2021
- AnnotationTag der Verteidigung: 12.11.2021
- Defended on2021-11-12
- LanguageEnglish
- Document TypesDissertation (PhD)
- URN
- DOI
- Social MediaShare
- Reference
- IIIF
The coflow abstraction is used for specifying network resource requirements of data-parallel applications. It represents correlated flows in data flow models like MapReduce and partition-aggregate. In this dissertation, I mainly demonstrate that hand-crafted online coflow schedulers --- to allocate data rates to correlated flows --- can be replaced with a reinforcement learning (RL) based coflow scheduler to automate network resource allocation of coflows for data-parallel applications. Specifically, an RL-based coflow scheduler learns scheduling policies to optimize for a high-level performance objective of coflows, for example, maximize coflow admissions while meeting their deadlines. In this dissertation, I have made three main contributions: I first present a new coflow heuristic that leverages released network resources of active coflows finishing before the deadline of a new coflow request. I then show that flow or coflow heuristics, in general, are prone to under-perform in maximizing (co)flow admissions because of stochastic flow or coflow arrivals in data traffic. Next, I demonstrate that an online flow scheduler can learn a scheduling policy to maximize flow admissions using reinforcement learning. Finally, I show how a coflow scheduler can learn policies in the presence of stochastic coflow arrivals to maximize coflow admissions while meeting their deadlines.
- The PDF-Document has been downloaded 71 times.