Deutsch

Das Aufkommen hybrider Cluster-Systeme, welche aus heterogenen Gruppen homogener Knoten (z.B. Rechenknoten, Visualisierungsknoten oder hardwarebeschleunigten Knoten) bestehen, markiert eine Trendwende in der generellen Einsetzbarkeit von Cluster Systemen. Zum ersten Mal stehen diese leistungsstarken Ressourcen, neben typischen High Performance Computing (HPC) Anwendungen wie Number Crunching und massiv-parallelen Simulationen, auch neuen Anwendungen zur Verfügung. Unterschiedlichste Anwender aus Forschung und Wirtschaft können diese Systeme nun als mächtigesWerkzeug zur Simulation und Visualisierung ihrer Probleme nutzen. Interaktive Simulationen und Virtual Reality Anwendungen, sind Bereiche, denen High Performance Computing auf hybriden Cluster Systemen große Vorteile und neue Möglichkeiten bringen. Beispiele hierfür sind ein verbesserter Grad an Realismus, die Möglichkeit mehrere Simulationsl¨aufe gleichzeitig durchführen und vergleichen zu können oder dynamische Mehrbenutzer-Szenarien zu realisieren. Allerdings werden, um die Benutzung solcher komplexer Cluster-Systeme für diese Anwendungen zu ermöglichen und zu erleichtern, Werkzeuge benötigt, welche die flexible Kopplung der verteilten Komponenten und den Zugriff auf das Gesamtsystem realisieren. Existierende Anwendungen sollten schnell und einfach auf der neuen Hardware lauffähig sein und möglichst ohne große Veränderungen in Code und Design die Vorteile davon nutzen können. Zurzeit gibt es nur sehr wenige Systeme, welche diese Aufgaben auch nur teilweise erfüllen. Bestehenden Werkzeuge für traditionelles HPC mangelt es an wichtigen Eigenschaften um die benötigte Interaktivität und Flexibilität gewährleisten zu können.

Die vorliegende Arbeit beschäftigt sich deshalb mit den zwei wichtigsten Aspekten dieses Problems und führt Konzepte für das Computational Steering (CS) und der entfernten Visualisierung (RV) von interaktiven Simulationen und Virtual Reality (IS/VR) Anwendungen auf hybriden Cluster Systemen ein. Das Hauptaugenmerk liegt dabei auf der Erhaltung der Interaktivität und Benutzerintegration der Anwendungen, bei gleichzeitiger Erweiterung und Verbesserung deren Fähigkeiten durch die Ausnutzung der Kapazitäten von hybriden Clustern. Daraus ergab sich die Idee zu den wichtigen Beiträgen dieser Arbeit: Die Entwicklung und Umsetzung zweier neuartiger Middlewares für die Steuerung und Instrumentation der verteilten Komponenten (CS) und für den entfernten Zugang (RV) zu den interaktiven, grafischen Anwendungen auf dem hybriden Cluster System. Das Konzept für das CS Framework basiert auf drei neuen Modellen für die Steuerung der IS/VR Anwendungen, welche deutlich vom Modell für das Steuern traditioneller HPC Simulationen abweicht. Außer der ursprünglichen Idee, dass eine laufende Simulation durch eine angeschlossene Visualisierung beobachtet und gesteuert werden kann, müssen viele Teile des traditionellen CS neu entworfen und an die Anforderungen von IS/VR angepasst werden. Speziell Interaktivität und Flexibilität spielten eine große Rolle bei der Konzeptionierung des Systems. Durch die beispielhafte Realisierung von verteilten Versionen zweier existierender IS/VR Anwendungen wird das Konzept des entwickelten Frameworks und dessen Umsetzung getestet und evaluiert. Es wird außerdem in Szenarien gezeigt, dass die Beispielanwendungen an Performance, Flexibilität und Qualität für die Benutzer hinzugewinnen. Das zweite Framework (RV für IS/VR) gibt dem Benutzer grafischen Zugriff zu den Anwendungen, die auf dem Cluster laufen. Erneut wurden die traditionellen Ansätze der entfernten Visualisierung (z.B. Administration entfernter Server) genutzt und an die Anforderungen der neuen Anwendungen angepasst, bei denen Interaktivität und Qualität der Visualisierung eine große Rolle spielen. Um diesen Anforderungen gerecht zu werden nutzt das entwickelte Framework, als erstes seiner Art, die leistungsstarken Grafikkarten, welche in vielen hybriden Clustern verbaut sind, zur Bildkompression. Bis jetzt wurden diese Hardware-Ressourcen fast ausschließlich zur grafischen Darstellung der Ergebnisse der HPC-Simulation genutzt. Erst seit kurzem können diese leistungsstarken Prozessoren durch die Einführung von universellen APIs auch für generelle Zwecke genutzt werden. Durch verschiedene Messungen wird gezeigt, dass durch die Nutzung der GPUs (Graphics Processing Unit) zur Bildkompression eine Performancesteigerung in vielen Bereichen möglich ist. Dies wiederum dient zur Erhaltung der wichtigen Interaktivität auch über längere Strecken und Netzwerken mit geringen Bandbreiten hinweg. Zusätzlich nutzt das entwickelte Framework auch die Flexibilität, welche hybride Cluster bieten, um beispielsweise den entfernten Zugang zu mehreren gleichzeitig laufenden Simulationen für mehrere Nutzer zu ermöglichen.

Zusammenfassend beschreibt die vorliegende Arbeit einen neuen Ansatz zur praktischen Nutzung hybrider Cluster Systeme für interaktive Simulationen und Virtual Reality Anwendungen und untermauert die Ergebnisse durch Messungen und die Umsetzung beispielhafter Anwendungen.

English

The introduction of hybrid cluster systems, which consist of several heterogeneous groups of homogenous nodes (e.g. computing nodes, visualization nodes, hardware­accelerated nodes) marks a paradigm shift in the usage of cluster systems. For the first time, the powerful hardware is open to applications other than classical high performance computing (HPC) applications, such as number crunching and massively parallel simulations. Various new fields of science and industry could use it as a powerful new tool for simulation and visualization. Interactive simulations and their visualization as well as Virtual Reality applications are areas where HPC on hybrid cluster systems can bring significant benefit in many aspects, as for example realism, multiple comparative simulations, multiuser-support etc.. But, to enable and to later­on ease the utilization of the complex cluster systems for such simulations, tools to orchestrate and access these resources are needed. Existing applications should be quickly able to run on and to benefit from the new hardware with only little effort and changes in source code. Currently there are only few systems that (partially) fulfill these tasks. Most of the existing ones for traditional HPC applications lack important features to provide the desired interactivity and flexibility.

This thesis addresses two main aspects of this problem and introduces concepts for the computational steering (CS) and the remote visualization (RV) of interactive simu­lations and Virtual Reality (IS/VR) applications on hybrid cluster systems. The main focus is to conserve the interactivity and user-integration of these applications and, at the same time, dramatically extend their features by harvesting the power of the hybrid cluster architecture. Thus, the main contribution of this thesis is the introduc­tion of two new subsystems, one for the steering and orchestration of the application’s distributed components (CS) and one for the remote access to the interactive graphical applications running on the cluster (RV). The concept for the CS framework bases on three new models for the steering of IS/VR applications that significantly differ from the model used for traditional CS. Besides the original idea that a running simula­tion is observed and controlled by a connected visualization, many parts of traditional CS needed to be redesigned and adapted to the needs of IS/VR. Especially interac­ivity and flexibility play a big role during the conceptual design of the system. The proposed framework and its implementation is tested and evaluated by realizing dis­tributed versions of two existing IS/VR applications and is further showing that these applications greatly gain on flexibility, performance and quality for the users. There­fter, the introduction of a framework for RV gives the users graphical access to the applications running on the cluster system. Again, the developed system takes the idea of traditional RV (e.g. for remote administration purposes) and transfers it to the domain of IS/VR, where interactivity and high quality are of highest importance. To achieve these goals, the developed system, as the first of its kind, makes use of power­ful graphics cards for image compression. Until now, these GPUs (Graphics Processing Unit), built into most of the existing hybrid clusters, were almost exclusively used for the rendering of the results of HPC simulations. But, only recently these processors have become available for general purpose computing through the introduction of new and universal APIs. By different benchmarks it is shown that the performance of the remote visualization is thereby improved in many cases. Additionally, the framework is able to use the flexibility that clusters provide, to allow the remote access to multiple, simultaneously running applications on the cluster by multiple users.

All in all, a novel approach to effectively use hybrid clusters for interactive simula­tions and VR applications is presented, and the findings are manifested by exemplary applications and various benchmarks.