Format der Testergebnisse
JUnit XML, NUnit, TRX, TestNG, Robot Framework, CTest, Cucumber, Behave, Allure, CTRF, TAP oder JSON — die gemeinsame Regel, was jedes Format enthalten muss, und Vorlagen zum Herunterladen.
QATrax führt Ihre Tests nicht aus: Es empfängt, was Ihre Continuous Integration ausgeführt hat, und verknüpft es mit Ihren Anforderungen. Es liest den Bericht so, wie Ihr Werkzeug ihn schreibt, am Inhalt erkannt — kein Konverter zu schreiben, kein Werkzeug zu wechseln. Es sind die Formate, die auch Xray, Allure TestOps, TestRail, Zephyr, ReportPortal und Azure DevOps lesen: Ihr Bericht bleibt Ihrer.
| Format | wer es erzeugt | hochzuladen |
|---|---|---|
| JUnit XML | pytest (--junitxml), Maven Surefire, Gradle, Jest (jest-junit), Go (gotestsum), GitLab, Jenkins, mjs-unit --junit | die .xml-Datei — das häufigste |
| NUnit 2 und 3 | nunit3-console, NUnit3TestAdapter | TestResult.xml |
| TRX | dotnet test --logger trx (xUnit, MSTest, NUnit) | die .trx-Datei |
| TestNG | TestNG (Maven, Gradle) | testng-results.xml |
| Robot Framework | robot (6 und 7) | output.xml |
| CTest | ctest -T Test (C, C++) | Testing/<date>/Test.xml |
| Cucumber JSON | cucumber-js, Cucumber-JVM, Cucumber Ruby (--format json) | die .json-Datei |
| Behave JSON | behave -f json -o behave.json | die .json-Datei |
| Allure 2 | jede Sprache (allure-results/) | eine -result.json, oder alle zusammen: jq -s . allure-results/-result.json > allure.json |
| CTRF | die Reporter von ctrf-io, mjs-unit --ctrf | die .json-Datei |
| TAP | node --test, prove, pytest-tap | am einfachsten von Hand zu schreiben |
| JSON | mjs-unit --json, oder Ihr eigenes Skript | wenn Sie den Bericht selbst erstellen |
Ein Status, der weder bestanden noch fehlgeschlagen noch übersprungen ist — Inconclusive (NUnit, TRX), Schritt undefined oder pending (Cucumber, Behave), unknown (Allure), notrun bei fehlender ausführbarer Datei (CTest) — wird als blockiert gezählt: nie als Erfolg. Eine fehlgeschlagene TestNG-Konfigurationsmethode wird angezeigt, unter ihrem Namen. Allure: Ein wiederholter Test (gleiche historyId) zählt nur einmal, der letzte.
Die gemeinsame Regel: die Referenz des Tests am Anfang des Namens
Ihr Plan gibt jedem Test eine Referenz (T-MOD-01) und eine autoRef: <fichier de test>::<référence>. Der Name jedes Tests im Bericht beginnt mit dieser Referenz, gefolgt von einem Trennzeichen (·, —, : oder -):
T-MOD-01 · aucune vulnérabilité connue non traitée
Mit _ geschrieben — was pytest und JUnit verlangen, die den Bindestrich in einem Funktionsnamen ablehnen —, wird sie ebenfalls erkannt: test_T_MOD_01_aucune_vulnerabilite.
Bei BDD (Cucumber, Behave), mit Robot Framework oder Allure genügt ein Tag, das der Referenz entspricht: @T-MOD-01 am Szenario. Trägt der Name eine Referenz, hat er Vorrang.
Ein Test ohne im Plan bekannte Referenz wird als außerhalb des Plans gemeldet: Er wird angezeigt, er belegt nichts.
JUnit XML
Laden Sie die Vorlage herunter: resultats-modele.xml.
<testcase name="…">: der Name, Referenz am Anfang;<failure>(Assertion fehlgeschlagen) und<error>(unerwartete Ausnahme): beide sind ein Fehlschlag;<skipped>: ein nicht ausgeführter Test — nie als bestanden gezählt;file(optional): Fehlt es oder passt es nicht zum Plan, findet QATrax die Datei über die Referenz;timestampder Suite: Er identifiziert die Ausführung.
Mit mjs-unit (0.8.0 und höher): mjs-unit test-scripts/*.test.mjs --junit=junit.xml.
TAP
Laden Sie die Vorlage herunter: resultats-modele.tap.
ok N - <nom> bestanden, not ok N - <nom> fehlgeschlagen, # SKIP oder # TODO nicht ausgeführt. Die Datei wird nicht verlangt: QATrax findet sie im Plan.
JSON
Laden Sie die Vorlage herunter: resultats-modele.json.
{
"title": "Produit modèle — campagne de sécurité",
"generatedAt": "2026-10-03T09:12:00.000Z",
"suites": [
{ "file": "test/acces.test.mjs",
"results": [
{ "name": "T-MOD-03 · un appel sans jeton est refusé (401)", "status": "pass", "durationMs": 8.3 },
{ "name": "T-MOD-04 · un jeton expiré est refusé (401)", "status": "fail", "error": "attendu 401, reçu 200" }
] }
]
}
| Feld | Pflicht | Regel |
|---|---|---|
suites[].file | ja | die Testdatei, wie in der autoRef; weicht sie ab, findet die Referenz sie, wenn sie nur in einer Datei existiert |
results[].name | ja | die Referenz am Anfang |
results[].status | ja | pass, fail, skip (auch passed, failed, error, skipped, todo); jedes andere Wort wird zu „blockiert“, nie zu „bestanden“ |
error, durationMs | nein | die Fehlermeldung, die Dauer in Millisekunden |
generatedAt | empfohlen | identifiziert die Ausführung: ein neues Datum bei jeder Ausführung, sonst wird das Hochladen als bereits empfangen erkannt |
Die manuellen Tests
Dokumentenreview, Inspektion, Prüfstandstest: Viele Anforderungen des CRA lassen sich nicht durch die CI belegen. Erklären Sie den Fall im Plan als manuell ("type": "manual", mit seinen Schritten) und erfassen Sie dann sein Ergebnis im Reiter Manuelle Tests: bestanden, fehlgeschlagen oder blockiert, Datum und Ort der Ausführung, den Befund (Pflicht) und Anhänge (Protokoll, Foto; höchstens 5 MB je Datei).
- die Erfassung erfolgt im Namen der angemeldeten Person — nie ein in ein Feld getippter Name;
- der SHA-256-Fingerabdruck jedes Anhangs geht in das Lieferobjekt ein, also unter das Siegel: Ein nachträglich ausgetauschter Anhang passt nicht mehr;
- eine Erfassung wird weder bearbeitet noch gelöscht: Die nächste ersetzt sie für das Urteil, der Verlauf behält beide;
- das Zertifikat unterscheidet den manuellen Test von einem CI-Ergebnis und nennt, wie viele Anforderungen so belegt sind;
- ein automatisierter Fall wird nicht erfasst: Er wird durch die Ergebnisse der CI belegt.
Ein fehlerhaftes Hochladen stornieren
Ein irrtümlich übermittelter Bericht (falscher Branch, falsches Projekt) wird im Reiter „Ausführungen“ storniert, mit einem Grund: Er bleibt im Verlauf, als storniert markiert (von wem, wann, warum), zählt aber nicht mehr für das Urteil. Er wird ebenso wiederhergestellt. Eine fehlerhafte manuelle Erfassung wird auf dieselbe Weise storniert. Die bereits ausgestellten Lieferobjekte behalten, was sie versiegelt haben; das nächste Lieferobjekt nennt die stornierten Hochladevorgänge.
Der Plan
Laden Sie die Vorlage herunter: plan-modele.json — drei Anforderungen des CRA, vier Tests. Laden Sie sie hoch (Reiter „Anforderungen“), dann eine der drei Ergebnisvorlagen: Die vier Tests werden verknüpft, und einer von ihnen schlägt fehl — Sie sehen, was aus einer fehlgeschlagenen Anforderung wird, bis hin zum Urteil.
Hochladen
- über den Bildschirm: Schritt ② des Ablaufs, oder Reiter „Ausführungen“;
- aus der CI:
POST /runs?p=<projet>&format=jsonmit dem CI-Schlüssel des Projekts — siehe Die CI anbinden.
Die Antwort nennt das erkannte Format (dialecte), die verknüpften Tests, die außerhalb des Plans und die im Plan nie ausgeführten.