QATrax
Als Markdown anzeigen

Format der Testergebnisse

JUnit XML, NUnit, TRX, TestNG, Robot Framework, CTest, Cucumber, Behave, Allure, CTRF, TAP oder JSON — die gemeinsame Regel, was jedes Format enthalten muss, und Vorlagen zum Herunterladen.


QATrax führt Ihre Tests nicht aus: Es empfängt, was Ihre Continuous Integration ausgeführt hat, und verknüpft es mit Ihren Anforderungen. Es liest den Bericht so, wie Ihr Werkzeug ihn schreibt, am Inhalt erkannt — kein Konverter zu schreiben, kein Werkzeug zu wechseln. Es sind die Formate, die auch Xray, Allure TestOps, TestRail, Zephyr, ReportPortal und Azure DevOps lesen: Ihr Bericht bleibt Ihrer.

Formatwer es erzeugthochzuladen
JUnit XMLpytest (--junitxml), Maven Surefire, Gradle, Jest (jest-junit), Go (gotestsum), GitLab, Jenkins, mjs-unit --junitdie .xml-Datei — das häufigste
NUnit 2 und 3nunit3-console, NUnit3TestAdapterTestResult.xml
TRXdotnet test --logger trx (xUnit, MSTest, NUnit)die .trx-Datei
TestNGTestNG (Maven, Gradle)testng-results.xml
Robot Frameworkrobot (6 und 7)output.xml
CTestctest -T Test (C, C++)Testing/<date>/Test.xml
Cucumber JSONcucumber-js, Cucumber-JVM, Cucumber Ruby (--format json)die .json-Datei
Behave JSONbehave -f json -o behave.jsondie .json-Datei
Allure 2jede Sprache (allure-results/)eine -result.json, oder alle zusammen: jq -s . allure-results/-result.json > allure.json
CTRFdie Reporter von ctrf-io, mjs-unit --ctrfdie .json-Datei
TAPnode --test, prove, pytest-tapam einfachsten von Hand zu schreiben
JSONmjs-unit --json, oder Ihr eigenes Skriptwenn Sie den Bericht selbst erstellen

Ein Status, der weder bestanden noch fehlgeschlagen noch übersprungen ist — Inconclusive (NUnit, TRX), Schritt undefined oder pending (Cucumber, Behave), unknown (Allure), notrun bei fehlender ausführbarer Datei (CTest) — wird als blockiert gezählt: nie als Erfolg. Eine fehlgeschlagene TestNG-Konfigurationsmethode wird angezeigt, unter ihrem Namen. Allure: Ein wiederholter Test (gleiche historyId) zählt nur einmal, der letzte.

Die gemeinsame Regel: die Referenz des Tests am Anfang des Namens

Ihr Plan gibt jedem Test eine Referenz (T-MOD-01) und eine autoRef: <fichier de test>::<référence>. Der Name jedes Tests im Bericht beginnt mit dieser Referenz, gefolgt von einem Trennzeichen (·, —, : oder -):

T-MOD-01 · aucune vulnérabilité connue non traitée

Mit _ geschrieben — was pytest und JUnit verlangen, die den Bindestrich in einem Funktionsnamen ablehnen —, wird sie ebenfalls erkannt: test_T_MOD_01_aucune_vulnerabilite.

Bei BDD (Cucumber, Behave), mit Robot Framework oder Allure genügt ein Tag, das der Referenz entspricht: @T-MOD-01 am Szenario. Trägt der Name eine Referenz, hat er Vorrang.

Ein Test ohne im Plan bekannte Referenz wird als außerhalb des Plans gemeldet: Er wird angezeigt, er belegt nichts.

JUnit XML

Laden Sie die Vorlage herunter: resultats-modele.xml.

Mit mjs-unit (0.8.0 und höher): mjs-unit test-scripts/*.test.mjs --junit=junit.xml.

TAP

Laden Sie die Vorlage herunter: resultats-modele.tap.

ok N - <nom> bestanden, not ok N - <nom> fehlgeschlagen, # SKIP oder # TODO nicht ausgeführt. Die Datei wird nicht verlangt: QATrax findet sie im Plan.

JSON

Laden Sie die Vorlage herunter: resultats-modele.json.

{
  "title": "Produit modèle — campagne de sécurité",
  "generatedAt": "2026-10-03T09:12:00.000Z",
  "suites": [
    { "file": "test/acces.test.mjs",
      "results": [
        { "name": "T-MOD-03 · un appel sans jeton est refusé (401)", "status": "pass", "durationMs": 8.3 },
        { "name": "T-MOD-04 · un jeton expiré est refusé (401)", "status": "fail", "error": "attendu 401, reçu 200" }
      ] }
  ]
}
FeldPflichtRegel
suites[].filejadie Testdatei, wie in der autoRef; weicht sie ab, findet die Referenz sie, wenn sie nur in einer Datei existiert
results[].namejadie Referenz am Anfang
results[].statusjapass, fail, skip (auch passed, failed, error, skipped, todo); jedes andere Wort wird zu „blockiert“, nie zu „bestanden“
error, durationMsneindie Fehlermeldung, die Dauer in Millisekunden
generatedAtempfohlenidentifiziert die Ausführung: ein neues Datum bei jeder Ausführung, sonst wird das Hochladen als bereits empfangen erkannt

Die manuellen Tests

Dokumentenreview, Inspektion, Prüfstandstest: Viele Anforderungen des CRA lassen sich nicht durch die CI belegen. Erklären Sie den Fall im Plan als manuell ("type": "manual", mit seinen Schritten) und erfassen Sie dann sein Ergebnis im Reiter Manuelle Tests: bestanden, fehlgeschlagen oder blockiert, Datum und Ort der Ausführung, den Befund (Pflicht) und Anhänge (Protokoll, Foto; höchstens 5 MB je Datei).

Ein fehlerhaftes Hochladen stornieren

Ein irrtümlich übermittelter Bericht (falscher Branch, falsches Projekt) wird im Reiter „Ausführungen“ storniert, mit einem Grund: Er bleibt im Verlauf, als storniert markiert (von wem, wann, warum), zählt aber nicht mehr für das Urteil. Er wird ebenso wiederhergestellt. Eine fehlerhafte manuelle Erfassung wird auf dieselbe Weise storniert. Die bereits ausgestellten Lieferobjekte behalten, was sie versiegelt haben; das nächste Lieferobjekt nennt die stornierten Hochladevorgänge.

Der Plan

Laden Sie die Vorlage herunter: plan-modele.json — drei Anforderungen des CRA, vier Tests. Laden Sie sie hoch (Reiter „Anforderungen“), dann eine der drei Ergebnisvorlagen: Die vier Tests werden verknüpft, und einer von ihnen schlägt fehl — Sie sehen, was aus einer fehlgeschlagenen Anforderung wird, bis hin zum Urteil.

Hochladen

Die Antwort nennt das erkannte Format (dialecte), die verknüpften Tests, die außerhalb des Plans und die im Plan nie ausgeführten.