Titelaufnahme
Titelaufnahme
- TitelSafe reinforcement learning-based control of voltage-forming grid inverters / Daniel Weber ; First Reviewer: Prof. Dr.-Ing. Joachim Böcker, Second Reviewer: Prof. Dr.-Ing. Oliver Wallscheid
- Autor
- Gutachter
- Erschienen
- Umfang1 Online-Ressource (xix, 124 Seiten) : Diagramme, Illustrationen
- HochschulschriftUniversität Paderborn, Dissertation, 2026
- AnmerkungTag der Verteidigung: 20.07.2026
- Verteidigung2026-07-20
- SpracheEnglisch
- DokumenttypDissertation
- Schlagwörter (GND)
- URN
- DOI
Links
- Social MediaShare
- Nachweis
- IIIF
Klassifikation
Zusammenfassung
Die zunehmende Verbreitung dezentraler Stromversorgung führt zu einer stärkeren Verbreitung umrichterbasierter Systeme. Diese Veränderung motiviert die Etablierung von Microgrids, bei denen es sich um umrichterbasierte, lokale Energienetze handelt, in denen ein elektrischer Energiespeicher als Freiheitsgrad genutzt wird um lokal Bedarf und Erzeugung zu synchronisieren. Um die lokalen Erzeugungskapazitäten optimal zu nutzen und eine hohe Versorgungsqualität zu gewährleisten, muss das Regelverhalten hohen Anforderungen gerecht werden. Die Anforderungen an eine genaue Systemmodellierung, der Aufwand für die Regelungsauslegung und das erforderliche Fachwissen stellen Herausforderungen bei herkömmlichen Ansätzen wie Proportional-Integral(PI)-Reglern oder optimale Regelungsansätzen, wie modellprädiktive Regelung dar, wenn sie auf eine große Anzahl einzelner Systeme skaliert werden müssen. Diese Herausforderungen können durch Reinforcement Learning datenbasiert bewältigt werden. Beim Reinforcement Learning wird eine Regelung mit aus der Interaktion mit dem technischen System (hier Wechselrichter) gewonnenen Daten trainiert. Durch das datenbasierte Verfahren wird ein modellfreier, selbstadaptiver und weitgehend automatischer Reglerentwicklungsprozess mit minimalem menschlichem Aufwand ermöglicht.Um vom datenbasierten Verfahren zu profitieren, müssen die Daten aus der Interaktion mit einer realen Hardwareanwendung gewonnen werden. Dies stellt eine Herausforderung hinsichtlich der Sicherheit des Wechselrichters während des Lernprozesses dar. Um dieser zu begegnen, wird in dieser Arbeit ein Standardalgorithmus für Reinforcement Learning um eine Sicherheitskomponente erweitert, was ermöglicht, die Regelung eines Wechselrichters in einer Echtzeit-Anwendung in der realen Welt ohne vorherige Parameterkenntnisse und ohne menschliches Eingreifen sicher zu erlernen. In einem solchen Experiment wird das sichere Erlernen der Spannungsregelung durch Reinforcement Learning mit einem dreiphasigen 250 kVA Wechselrichter vorgestellt.Im Zuge eines Machbarkeitsnachweises, bei dem eine konstante ohmsche Last versorgt wird, wird die Sicherheitserweiterung erläutert und validiert. Der Reinforcement Learning Regler wird mit modellprädiktiven und PI-Reglern verglichen, wobei die Vorteile in Bezug auf Transiente, das stationäre Verhalten sowie die Kompensation von Nichtlinearitäten und Schieflasten hervorgehoben werden. Die Erweiterung von Sicherheitsansatz und Lernexperiment auf beliebige Lasten ermöglicht eine allgemeine Anwendung in elektrischen Energienetzen, wodurch der datenbasierte Spannungsregler in einem dezentralen, umrichterbasierten Microgrid anwendbar ist. Basierend auf Lernalgorithmen und allgemeinen Auslegungsregeln ermöglicht dieser Aufbau eine vollautomatische und modellfreie Inbetriebnahme, was experimentell in einem 1.25 MVA System demonstriert wird.
Abstract
The increasing expansion of local generation units, such as photovoltaic systems or wind turbines, within the electric power grid is leading to a prevalence of inverter-based resources. This change is motivating the establishment of microgrids, which are inverter-based local distribution systems in which storage units allow local demand and local generation to be matched as a degree of freedom. To make optimal use of local generation capabilities and ensure high quality supply, high demands are placed on the control engineering to provide fast reaction to transients. The requirements for accurate systemmodeling, the effort involved in controller design, and the necessary human expertise make conventional approaches such as PI control or optimal approaches such as model predictive control disadvantageous when they need to be scaled to a large number of individual systems. These challenges can be overcome by reinforcement learning, a data-driven optimal control approach. In reinforcement learning, a control is learned from interaction experiences with the technical system – in this thesis an inverter. Benefiting from the data-driven behavior, a model-free, self-adaptive, and largely automatic controller development process with minimum human effort can be enabled.In order to profit from the data-driven behavior, the experiences must be gained from an interaction in a real-world application. This poses a challenge in terms of safety during learning to protect the inverter from damage. To address this challenge, this thesis extends a standard reinforcement learning algorithm with a safety component that allows to safely learn controlling an inverter in a real-time, real-world application without a priori parameter knowledge and human intervention. In such an experiment, safe learning of voltage control via reinforcement learning is presented with a three-phase 250kVA-capable inverter.In a proof of concept, supplying a constant, resistive load, the safety extension is didactically introduced and validated. The reinforcement learning-based controller is compared to model predictive controllers and PI-based controllers, highlighting the benefits regarding transients, steady state, compensating for non-linearities and unbalances. Extending the safety approach and the learning experiment to arbitrary loads, enables a general use case in an electric grid application. Finally, this makes the developed data-driven voltage controller applicable in a decentralized, inverter-based microgrid. Based on learning algorithms and general design rules, this setup enables fully automatic and model-free commissioning of an inverter-based microgrid without human intervention, which is experimentally demonstrated in a 1.25 MVA capable system.
Inhalt
Statistik
- Das PDF-Dokument wurde 12 mal heruntergeladen.
Lizenz-/Rechtehinweis
