Format des résultats d’essais
JUnit XML, NUnit, TRX, TestNG, Robot Framework, CTest, Cucumber, Behave, Allure, CTRF, TAP ou JSON — la règle commune, ce que chaque format doit porter, et des modèles à télécharger.
QATrax ne lance pas vos essais : il reçoit ce que votre intégration continue a exécuté, et le relie à vos exigences. Il lit le rapport tel que votre outil l’écrit, reconnu à son contenu — aucun convertisseur à écrire, aucun outil à changer. Ce sont les formats que lisent aussi Xray, Allure TestOps, TestRail, Zephyr, ReportPortal et Azure DevOps : votre rapport reste le vôtre.
| format | qui le produit | à déposer |
|---|---|---|
| JUnit XML | pytest (--junitxml), Maven Surefire, Gradle, Jest (jest-junit), Go (gotestsum), GitLab, Jenkins, mjs-unit --junit | le fichier .xml — le plus courant |
| NUnit 2 et 3 | nunit3-console, NUnit3TestAdapter | TestResult.xml |
| TRX | dotnet test --logger trx (xUnit, MSTest, NUnit) | le fichier .trx |
| TestNG | TestNG (Maven, Gradle) | testng-results.xml |
| Robot Framework | robot (6 et 7) | output.xml |
| CTest | ctest -T Test (C, C++) | Testing/<date>/Test.xml |
| Cucumber JSON | cucumber-js, Cucumber-JVM, Cucumber Ruby (--format json) | le fichier .json |
| Behave JSON | behave -f json -o behave.json | le fichier .json |
| Allure 2 | tout langage (allure-results/) | un -result.json, ou tous réunis : jq -s . allure-results/-result.json > allure.json |
| CTRF | les rapporteurs ctrf-io, mjs-unit --ctrf | le fichier .json |
| TAP | node --test, prove, pytest-tap | le plus simple à écrire à la main |
| JSON | mjs-unit --json, ou votre propre script | quand vous fabriquez le rapport vous-même |
Un statut ni réussi, ni échoué, ni ignoré — Inconclusive (NUnit, TRX), étape undefined ou pending (Cucumber, Behave), unknown (Allure), notrun d’un exécutable absent (CTest) — est compté bloqué : jamais comme un succès. Une méthode de configuration TestNG en échec est montrée, sous son nom. Allure : un essai rejoué (même historyId) ne compte qu’une fois, le dernier.
La règle commune : la référence du test en tête du nom
Votre plan donne à chaque essai une référence (T-MOD-01) et un autoRef : <fichier de test>::<référence>. Le nom de chaque essai, dans le rapport, commence par cette référence, suivie d’un séparateur (·, —, : ou -) :
T-MOD-01 · aucune vulnérabilité connue non traitée
Écrite avec des _ — ce qu’imposent pytest et JUnit, qui refusent le tiret dans un nom de fonction —, elle est reconnue aussi : test_T_MOD_01_aucune_vulnerabilite.
En BDD (Cucumber, Behave), avec Robot Framework ou Allure, une étiquette égale à la référence suffit : @T-MOD-01 sur le scénario. Le nom, s’il porte une référence, prime.
Un essai sans référence connue du plan est rapporté hors plan : il est montré, il ne prouve rien.
JUnit XML
Téléchargez le modèle : resultats-modele.xml.
<testcase name="…">: le nom, référence en tête ;<failure>(assertion tombée) et<error>(exception inattendue) : l’un et l’autre sont un échec ;<skipped>: un essai non joué — jamais compté réussi ;file(facultatif) : s’il manque ou ne correspond pas au plan, QATrax retrouve le fichier par la référence ;timestampde la suite : il identifie l’exécution.
Avec mjs-unit (0.8.0 et suivantes) : mjs-unit test-scripts/*.test.mjs --junit=junit.xml.
TAP
Téléchargez le modèle : resultats-modele.tap.
ok N - <nom> réussi, not ok N - <nom> en échec, # SKIP ou # TODO non joué. Le fichier n’est pas demandé : QATrax le retrouve dans le plan.
JSON
Téléchargez le modèle : resultats-modele.json.
{
"title": "Produit modèle — campagne de sécurité",
"generatedAt": "2026-10-03T09:12:00.000Z",
"suites": [
{ "file": "test/acces.test.mjs",
"results": [
{ "name": "T-MOD-03 · un appel sans jeton est refusé (401)", "status": "pass", "durationMs": 8.3 },
{ "name": "T-MOD-04 · un jeton expiré est refusé (401)", "status": "fail", "error": "attendu 401, reçu 200" }
] }
]
}
| champ | obligatoire | règle |
|---|---|---|
suites[].file | oui | le fichier de test, comme dans l’autoRef ; s’il diffère, la référence le retrouve quand elle n’existe que dans un fichier |
results[].name | oui | la référence en tête |
results[].status | oui | pass, fail, skip (aussi passed, failed, error, skipped, todo) ; tout autre mot devient « bloqué », jamais « réussi » |
error, durationMs | non | le message d’échec, la durée en millisecondes |
generatedAt | conseillé | identifie l’exécution : une date nouvelle à chaque exécution, sinon le dépôt est reconnu comme déjà reçu |
Les essais manuels
Revue documentaire, inspection, essai sur banc : beaucoup d’exigences du CRA ne se prouvent pas par la CI. Déclarez le cas manuel dans le plan ("type": "manual", avec ses étapes), puis saisissez son résultat dans l’onglet Essais manuels : réussi, en échec ou bloqué, la date et le lieu d’exécution, le constat (obligatoire), et des pièces jointes (procès-verbal, photo ; 5 Mo au plus chacune).
- la saisie est faite au nom de la personne connectée — jamais un nom tapé dans un champ ;
- l’empreinte SHA-256 de chaque pièce entre dans le livrable, donc sous le sceau : une pièce échangée après coup ne correspond plus ;
- on n’édite ni n’efface une saisie : la suivante la remplace pour le verdict, l’historique garde les deux ;
- le certificat distingue l’essai manuel d’un résultat de CI, et dit combien d’exigences sont prouvées ainsi ;
- un cas automatisé ne se saisit pas : il se prouve par les résultats de la CI.
Annuler un dépôt erroné
Un rapport poussé par erreur (mauvaise branche, mauvais projet) s’annule depuis l’onglet « Exécutions », avec un motif : il reste à l’historique, marqué annulé (par qui, quand, pourquoi), mais ne compte plus pour le verdict. Il se rétablit de même. Une saisie manuelle erronée s’annule de la même façon. Les livrables déjà émis gardent ce qu’ils ont scellé ; le livrable suivant dit les dépôts annulés.
Le plan
Téléchargez le modèle : plan-modele.json — trois exigences du CRA, quatre essais. Déposez-le (onglet « Exigences »), puis l’un des trois modèles de résultats : les quatre essais sont reliés, et l’un d’eux échoue — vous voyez ce que devient une exigence en échec, jusqu’au verdict.
Déposer
- depuis l’écran : étape ② du Parcours, ou onglet « Exécutions » ;
- depuis la CI :
POST /runs?p=<projet>&format=jsonavec la clé de CI du projet — voir Brancher sa CI.
La réponse dit le format reconnu (dialecte), les essais reliés, ceux hors plan et ceux du plan jamais exécutés.