# Format des résultats d’essais

> JUnit XML, NUnit, TRX, TestNG, Robot Framework, CTest, Cucumber, Behave, Allure, CTRF, TAP ou JSON — la règle commune, ce que chaque format doit porter, et des modèles à télécharger.


QATrax ne lance pas vos essais : il **reçoit** ce que votre intégration continue a exécuté, et le relie à vos
exigences. Il lit le rapport **tel que votre outil l’écrit**, reconnu à son contenu — aucun convertisseur à écrire,
aucun outil à changer. Ce sont les formats que lisent aussi Xray, Allure TestOps, TestRail, Zephyr, ReportPortal et
Azure DevOps : votre rapport reste le vôtre.

| format | qui le produit | à déposer |
|---|---|---|
| **JUnit XML** | pytest (`--junitxml`), Maven Surefire, Gradle, Jest (`jest-junit`), Go (`gotestsum`), GitLab, Jenkins, `mjs-unit --junit` | le fichier `.xml` — le plus courant |
| **NUnit 2 et 3** | `nunit3-console`, NUnit3TestAdapter | `TestResult.xml` |
| **TRX** | `dotnet test --logger trx` (xUnit, MSTest, NUnit) | le fichier `.trx` |
| **TestNG** | TestNG (Maven, Gradle) | `testng-results.xml` |
| **Robot Framework** | `robot` (6 et 7) | `output.xml` |
| **CTest** | `ctest -T Test` (C, C++) | `Testing/<date>/Test.xml` |
| **Cucumber JSON** | cucumber-js, Cucumber-JVM, Cucumber Ruby (`--format json`) | le fichier `.json` |
| **Behave JSON** | `behave -f json -o behave.json` | le fichier `.json` |
| **Allure 2** | tout langage (`allure-results/`) | un `*-result.json`, ou tous réunis : `jq -s . allure-results/*-result.json > allure.json` |
| **CTRF** | les rapporteurs ctrf-io, `mjs-unit --ctrf` | le fichier `.json` |
| **TAP** | `node --test`, `prove`, `pytest-tap` | le plus simple à écrire à la main |
| **JSON** | `mjs-unit --json`, ou votre propre script | quand vous fabriquez le rapport vous-même |

Un statut ni réussi, ni échoué, ni ignoré — *Inconclusive* (NUnit, TRX), étape *undefined* ou *pending*
(Cucumber, Behave), *unknown* (Allure), *notrun* d’un exécutable absent (CTest) — est compté **bloqué** : jamais
comme un succès. Une méthode de configuration TestNG en échec est montrée, sous son nom. Allure : un essai rejoué
(même `historyId`) ne compte qu’une fois, le dernier.

## La règle commune : la référence du test en tête du nom

Votre plan donne à chaque essai une **référence** (`T-MOD-01`) et un **`autoRef`** : `<fichier de test>::<référence>`.
Le nom de chaque essai, dans le rapport, **commence par cette référence**, suivie d’un séparateur (`·`, `—`, `:`
ou `-`) :

```
T-MOD-01 · aucune vulnérabilité connue non traitée
```

Écrite avec des `_` — ce qu’imposent pytest et JUnit, qui refusent le tiret dans un nom de fonction —, elle est
reconnue aussi : `test_T_MOD_01_aucune_vulnerabilite`.

En BDD (Cucumber, Behave), avec Robot Framework ou Allure, une **étiquette** égale à la référence suffit :
`@T-MOD-01` sur le scénario. Le nom, s’il porte une référence, prime.

Un essai sans référence connue du plan est rapporté **hors plan** : il est montré, il ne prouve rien.

## JUnit XML

Téléchargez le modèle : [resultats-modele.xml](/modeles/resultats-modele.xml).

- `<testcase name="…">` : le nom, référence en tête ;
- `<failure>` (assertion tombée) et `<error>` (exception inattendue) : l’un et l’autre sont un **échec** ;
- `<skipped>` : un essai **non joué** — jamais compté réussi ;
- `file` (facultatif) : s’il manque ou ne correspond pas au plan, QATrax retrouve le fichier par la référence ;
- `timestamp` de la suite : il identifie l’exécution.

Avec `mjs-unit` (0.8.0 et suivantes) : `mjs-unit test-scripts/*.test.mjs --junit=junit.xml`.

## TAP

Téléchargez le modèle : [resultats-modele.tap](/modeles/resultats-modele.tap).

`ok N - <nom>` réussi, `not ok N - <nom>` en échec, `# SKIP` ou `# TODO` non joué. Le fichier n’est pas
demandé : QATrax le retrouve dans le plan.

## JSON

Téléchargez le modèle : [resultats-modele.json](/modeles/resultats-modele.json).

```json
{
  "title": "Produit modèle — campagne de sécurité",
  "generatedAt": "2026-10-03T09:12:00.000Z",
  "suites": [
    { "file": "test/acces.test.mjs",
      "results": [
        { "name": "T-MOD-03 · un appel sans jeton est refusé (401)", "status": "pass", "durationMs": 8.3 },
        { "name": "T-MOD-04 · un jeton expiré est refusé (401)", "status": "fail", "error": "attendu 401, reçu 200" }
      ] }
  ]
}
```

| champ | obligatoire | règle |
|---|---|---|
| `suites[].file` | oui | le fichier de test, comme dans l’`autoRef` ; s’il diffère, la référence le retrouve quand elle n’existe que dans un fichier |
| `results[].name` | oui | la référence en tête |
| `results[].status` | oui | `pass`, `fail`, `skip` (aussi `passed`, `failed`, `error`, `skipped`, `todo`) ; **tout autre mot devient « bloqué », jamais « réussi »** |
| `error`, `durationMs` | non | le message d’échec, la durée en millisecondes |
| `generatedAt` | conseillé | identifie l’exécution : **une date nouvelle à chaque exécution**, sinon le dépôt est reconnu comme déjà reçu |

## Les essais manuels

Revue documentaire, inspection, essai sur banc : beaucoup d’exigences du CRA ne se prouvent pas par la CI. Déclarez
le cas **manuel** dans le plan (`"type": "manual"`, avec ses étapes), puis saisissez son résultat dans l’onglet
**Essais manuels** : réussi, en échec ou bloqué, la date et le lieu d’exécution, le **constat** (obligatoire), et
des **pièces jointes** (procès-verbal, photo ; 5 Mo au plus chacune).

- la saisie est faite au nom de la **personne connectée** — jamais un nom tapé dans un champ ;
- l’**empreinte SHA-256** de chaque pièce entre dans le livrable, donc sous le sceau : une pièce échangée après
  coup ne correspond plus ;
- on n’édite ni n’efface une saisie : la suivante la remplace pour le verdict, l’historique garde les deux ;
- le certificat distingue l’essai manuel d’un résultat de CI, et dit combien d’exigences sont prouvées ainsi ;
- un cas **automatisé** ne se saisit pas : il se prouve par les résultats de la CI.

## Annuler un dépôt erroné

Un rapport poussé par erreur (mauvaise branche, mauvais projet) s’**annule** depuis l’onglet « Exécutions », avec un
motif : il reste à l’historique, marqué annulé (par qui, quand, pourquoi), mais ne compte plus pour le verdict. Il se
**rétablit** de même. Une saisie manuelle erronée s’annule de la même façon. Les livrables déjà émis gardent ce
qu’ils ont scellé ; le livrable suivant dit les dépôts annulés.

## Le plan

Téléchargez le modèle : [plan-modele.json](/modeles/plan-modele.json) — trois exigences du CRA, quatre essais.
Déposez-le (onglet « Exigences »), puis l’un des trois modèles de résultats : les quatre essais sont reliés,
et l’un d’eux échoue — vous voyez ce que devient une exigence en échec, jusqu’au verdict.

## Déposer

- depuis l’écran : étape ② du **Parcours**, ou onglet « Exécutions » ;
- depuis la CI : `POST /runs?p=<projet>&format=json` avec la clé de CI du projet — voir [Brancher sa CI](/docs/ci).

La réponse dit le format reconnu (`dialecte`), les essais reliés, ceux **hors plan** et ceux du plan **jamais
exécutés**.
