Analyse der Testergebnisse und Vergleich
begleitend zum Paper geschrieben von Frank Brüseke, Steffen Becker, Gregor Engels
Lizenzen und Copyright
- Die Skripte und Modelle auf dieser Webseite stehen unter der Lizenz GNU Lesser General Public License LGPL zur Verfügung.
- Die Datensätze, die daraus erstellen Diagramm und Tabellen, sowie diese Webseite stehen
unter den Lizenz Creative Commons Attribution-ShareAlike 3.0 Unported License zur Verfügung.
Voraussetzungen
- Vergewissern Sie sich, dass das R-"bin"-directory in Ihrer PATH-Umgebungsvariablen eingetragen ist.
- Lokalisieren Sie Ihr "<dataPath>"-Verzeichnis, in dem Sie Ihre Daten und Skripte speichern.
- Laden Sie die Zip-Datei mit allen Skripten herunter: [Zip]
- Entpacken Sie die Zip-Datei im <dataPath>-Verzeichnis.
- Laden Sie die unbearbeiteten Testdaten in das Verzeichnis <dataPath> herunter: [TXT]
- Laden Sie die PCM-Datenreihen herunter: [Zip]
- Entpacken Sie die PCM-Datenreihen in das <dataPath>-Verzeichnis.
- Laden Sie die Zuordnung der Stacktraces zu den PCM-Datenreihen in das <dataPath>-Verzeichnis herunter: [TXT]
Schritte
Hinweise:
Die meisten Schritte werden auf der Kommandozeile ausgeführt. Dabei unterstützen die Python-Skripte üblicherweise die Option "--help", die einen Hilfstext anzeigt.
Falls Sie die Python-Skripte nicht direkt starten können, schreiben Sie "python" bzw. "python.exe" davor (angenommen die Python-Programmdatei ist in Ihrem PATH).
- Öffnen Sie einen Kommandozeile und wechseln Sie mit "cd" in das Verzeichnis <dataPath>.
- Stacktrace auf eine Zeile reduzieren:
- Abkürzung zu Schritt 4:
laden Sie die komprimierten Testdatenreihen in das Verzeichnis <dataPath> herunter: [TXT] - Geben Sie das folgende Kommando auf der Kommandozeile ein:
inlineJstack.py -i raw_measurements.txt -o inlined_measurements.txt - Dieser Befehl erzeugt die Datei "inlined_measurements.txt", in der schon die komprimierten Stacktraces enthalten sind.
- Der Befehl gibt außerdem die CSV-Datei "inlined_measurements.traces.txt" aus, die eine leere Vorgabe für eine Zuordnungsdatei enthält.
Die Datei enthält zunächst die vollständigen Stacktraces und ihre Kurznamen in den ersten beiden Spalten.
In der dritten Spalte muss der Systemarchitekt den relativen Pfad zu der Datei mit der PCM-Datenreihe für diesen Stacktrace eingeben.
Sie müssen diese leere Zuordnung jedoch nicht ausfüllen, da wir mit der vorgefertigten Zuordnungsdatei "mapping4.txt" weiterarbeiten.
- Konfigurieren der Konvertierungsfaktoren:
- Die Konvertierungsfaktoren sind in dieser Version des Analyseskripts noch hart in der Skript-Datei "compareTestAndSimu.py" eingetragen.
Bitte passen Sie die Faktoren in den folgenden Zeilen an (wurde in der Folgeversion repariert):
...
143: data1.curr <- 0.001*0.001*data1$duration[which(data1$stacktrace==mapping$key[index])]
...
146: data2.curr <- data2$Time.Span*1000
... - Starten Sie das Analyseskript mit der dem folgenden Kommando:
compareTestAndSimu.py -t inlined_measurements.txt -m mapping4.txt -o analysis1 - Dieser Befehl produziert eine Menge Dateien:
- Den Performance-Report: analysis1.RR.pdf
- Den erweiterten Performance-Report: analysis1.R.pdf
- Einige einzelne Box-Whisker-Plots (für die netten Abbildungen im Paper)
- Den Blame-Graph: analysis1.flame.csv2.svg
- Zur Fehleranalyse prüfen Sie die Ausgaben in der Datei: analysis1.R.out.txt
- Die restlichen Dateien sind Zwischenergebnisse mit Daten oder Skripten.
