Analyse der Testergebnisse und Vergleich
begleitend zum Paper geschrieben von Frank Brüseke, Henning Wachsmuth, Steffen Becker, Gregor Engels
Lizenzen und Copyright
- Die Skripte und Modelle auf dieser Webseite stehen unter der Lizenz GNU Lesser General Public License LGPL zur Verfügung.
- Die Datensätze, die daraus erstellen Diagramm und Tabellen, sowie diese Webseite stehen
unter den Lizenz Creative Commons Attribution-ShareAlike 3.0 Unported License zur Verfügung.
Voraussetzungen
- Vergewissern Sie sich, dass das R-"bin"-directory in Ihrer PATH-Umgebungsvariablen eingetragen ist.
- Lokalisieren Sie Ihr "<dataPath>"-Verzeichnis, in dem Sie Ihre Daten und Skripte speichern.
- Laden Sie die Zip-Datei mit allen Skripten herunter: [Zip]
- Entpacken Sie die Zip-Datei im <dataPath>-Verzeichnis.
- Laden Sie die unbearbeiteten Testdaten in das Verzeichnis <dataPath> herunter: [Zip]
- Entpacken Sie die Testdaten in das Verzeichnis <dataPath>.
- Laden Sie die PCM-Datenreihen in das Verzeichnis <dataPath> herunter: [Zip]
- Entpacken Sie die PCM-Datenreihen in das <dataPath>-Verzeichnis.
- Laden Sie die Konfigurationsdatei für die Konvertierungsfaktoren in das <dataPath>-Verzeichnis herunter: [Datei]
Schritte
Hinweise:
Die meisten Schritte werden auf der Kommandozeile ausgeführt. Dabei unterstützen die Python-Skripte üblicherweise die Option "--help", die einen Hilfstext anzeigt.
Falls Sie die Python-Skripte nicht direkt starten können, schreiben Sie "python" bzw. "python.exe" davor (angenommen die Python-Programmdatei ist in Ihrem PATH).
- Öffnen Sie einen Kommandozeile und wechseln Sie mit "cd" in das Verzeichnis <dataPath>.
- Konvertieren Sie die Testdatenreihen in das PBlaman-Format:
- Abkürzung zu Schritt 4:
laden Sie die komprimierten Testdatenreihen in das Verzeichnis <dataPath> herunter: [TXT] - Geben Sie das folgende Kommando auf der Kommandozeile ein:
java -jar ./KiekerToPba/KiekerToPba.jar -i . - Dieser Befehl erzeugt die Datei "stack-traced.out.txt", bei der die Messdaten in das PBlaman-Format konvertiert sind. Dabei konstruiert das Programm Stacktraces aus dem Kieker-Messdaten.
- Der Befehl gibt außerdem die CSV-Datei "stack-traced.map.txt" aus, die eine leere Vorgabe für eine Zuordnungsdatei enthält. Die Datei enthält zunächst die vollständigen Stacktraces und ihre Kurznamen in den ersten beiden Spalten. In der dritten Spalte muss der Systemarchitekt den relativen Pfad zu der Datei mit der PCM-Datenreihe für diesen Stacktrace eingeben. Sie müssen diese leere Zuordnung jedoch nicht ausfüllen, da wir mit der vorgefertigten Zuordnungsdatei "stack-traced.map.txt" weiterarbeiten.
- Laden Sie die Zuordnung der Stacktraces zu den PCM-Datenreihen in das <dataPath>-Verzeichnis herunter: [TXT]
Damit überschreiben Sie die Datei "stack-traced.out.txt" mit einer vollständigen Zuordnungsdatei, die schon die relativen Pfade zu den PCM-Datenreihen enthält. - Konfigurieren der Konvertierungsfaktoren:
- Die Konvertierungsfaktoren werden in der Datei "factors.conf" konfiguriert. Dabei handelt es sich um eine Konfigurationsdatei, bei der in jeder Zeile ein Konvertierungsfaktor zu finden ist. In der ersten Zeile steht der Faktor für Konvertierung der Testdatenreihen und in der zweiten Zeile steht der Konvertierungsfaktor für die PCM-Datenreihen. In diesem Beispiel sieht die Konfigurationsdatei wie folgt aus:
0.001*0.001
Die zweite Zeile ist leer, da in diesem Beispiel kein Konvertierungsfaktor für die PCM-Datenreihen erforderlich ist. In der ersten Zeile wird eine R-Formel angegeben, die als Faktor in die Zeile des R-Skripts eingefügt wird, in der die jeweilige Testdatenreihe eingelesen wird. Somit muss die R-Formel syntaktisch korrekt sein. - Starten Sie das Analyseskript mit der dem folgenden Kommando:
compareTestAndSimu.py -m stack-traced.map.txt -t stack-traced.out.txt -o analysis01 -f factors.conf - Dieser Befehl produziert eine Menge Dateien:
- Den Performance-Report: analysis01.RR.pdf
- Den erweiterten Performance-Report: analysis01.R.pdf
- Einige einzelne Box-Whisker-Plots (für die netten Abbildungen im Paper)
- Den Blame-Graph: analysis01.flame.csv2.svg
- Zur Fehleranalyse prüfen Sie die Ausgaben in der Datei: analysis1.R.out.txt
- Die restlichen Dateien sind Zwischenergebnisse mit Daten oder Skripten.
