Formato dei risultati dei test
JUnit XML, NUnit, TRX, TestNG, Robot Framework, CTest, Cucumber, Behave, Allure, CTRF, TAP o JSON — la regola comune, ciò che ogni formato deve riportare, e modelli da scaricare.
QATrax non esegue i Suoi test: riceve ciò che la Sua integrazione continua ha eseguito, e lo collega ai Suoi requisiti. Legge il report così come lo scrive il Suo strumento, riconosciuto dal suo contenuto — nessun convertitore da scrivere, nessuno strumento da cambiare. Sono i formati che leggono anche Xray, Allure TestOps, TestRail, Zephyr, ReportPortal e Azure DevOps: il Suo report resta Suo.
| formato | chi lo produce | da caricare |
|---|---|---|
| JUnit XML | pytest (--junitxml), Maven Surefire, Gradle, Jest (jest-junit), Go (gotestsum), GitLab, Jenkins, mjs-unit --junit | il file .xml — il più comune |
| NUnit 2 e 3 | nunit3-console, NUnit3TestAdapter | TestResult.xml |
| TRX | dotnet test --logger trx (xUnit, MSTest, NUnit) | il file .trx |
| TestNG | TestNG (Maven, Gradle) | testng-results.xml |
| Robot Framework | robot (6 e 7) | output.xml |
| CTest | ctest -T Test (C, C++) | Testing/<date>/Test.xml |
| Cucumber JSON | cucumber-js, Cucumber-JVM, Cucumber Ruby (--format json) | il file .json |
| Behave JSON | behave -f json -o behave.json | il file .json |
| Allure 2 | qualsiasi linguaggio (allure-results/) | un -result.json, oppure tutti riuniti: jq -s . allure-results/-result.json > allure.json |
| CTRF | i reporter ctrf-io, mjs-unit --ctrf | il file .json |
| TAP | node --test, prove, pytest-tap | il più semplice da scrivere a mano |
| JSON | mjs-unit --json, oppure il Suo script | quando costruisce il report da sé |
Uno stato né superato, né fallito, né ignorato — Inconclusive (NUnit, TRX), passo undefined o pending (Cucumber, Behave), unknown (Allure), notrun di un eseguibile assente (CTest) — è contato come bloccato: mai come un successo. Un metodo di configurazione TestNG fallito è mostrato, con il suo nome. Allure: un test rieseguito (stesso historyId) conta una sola volta, l’ultima.
La regola comune: il riferimento del test all’inizio del nome
Il Suo piano assegna a ogni test un riferimento (T-MOD-01) e un autoRef: <fichier de test>::<référence>. Il nome di ogni test, nel report, inizia con questo riferimento, seguito da un separatore (·, —, : o -):
T-MOD-01 · aucune vulnérabilité connue non traitée
Scritto con dei _ — ciò che impongono pytest e JUnit, che rifiutano il trattino nel nome di una funzione —, è riconosciuto anch’esso: test_T_MOD_01_aucune_vulnerabilite.
In BDD (Cucumber, Behave), con Robot Framework o Allure, basta un’etichetta uguale al riferimento: @T-MOD-01 sullo scenario. Il nome, se contiene un riferimento, prevale.
Un test senza un riferimento noto al piano è riportato come fuori piano: è mostrato, non prova nulla.
JUnit XML
Scarichi il modello: resultats-modele.xml.
<testcase name="…">: il nome, con il riferimento all’inizio;<failure>(asserzione fallita) e<error>(eccezione imprevista): l’uno e l’altro sono un fallimento;<skipped>: un test non eseguito — mai contato come superato;file(facoltativo): se manca o non corrisponde al piano, QATrax ritrova il file tramite il riferimento;timestampdella suite: identifica l’esecuzione.
Con mjs-unit (0.8.0 e successive): mjs-unit test-scripts/*.test.mjs --junit=junit.xml.
TAP
Scarichi il modello: resultats-modele.tap.
ok N - <nom> superato, not ok N - <nom> fallito, # SKIP o # TODO non eseguito. Il file non è richiesto: QATrax lo ritrova nel piano.
JSON
Scarichi il modello: resultats-modele.json.
{
"title": "Produit modèle — campagne de sécurité",
"generatedAt": "2026-10-03T09:12:00.000Z",
"suites": [
{ "file": "test/acces.test.mjs",
"results": [
{ "name": "T-MOD-03 · un appel sans jeton est refusé (401)", "status": "pass", "durationMs": 8.3 },
{ "name": "T-MOD-04 · un jeton expiré est refusé (401)", "status": "fail", "error": "attendu 401, reçu 200" }
] }
]
}
| campo | obbligatorio | regola |
|---|---|---|
suites[].file | sì | il file di test, come nell’autoRef; se differisce, il riferimento lo ritrova quando esiste in un solo file |
results[].name | sì | il riferimento all’inizio |
results[].status | sì | pass, fail, skip (anche passed, failed, error, skipped, todo); qualsiasi altra parola diventa «bloccato», mai «superato» |
error, durationMs | no | il messaggio di errore, la durata in millisecondi |
generatedAt | consigliato | identifica l’esecuzione: una data nuova a ogni esecuzione, altrimenti il caricamento è riconosciuto come già ricevuto |
I test manuali
Revisione documentale, ispezione, prova al banco: molti requisiti del CRA non si provano con la CI. Dichiari il caso manuale nel piano ("type": "manual", con i suoi passi), poi registri il suo risultato nella scheda Test manuali: superato, fallito o bloccato, la data e il luogo di esecuzione, la constatazione (obbligatoria), e degli allegati (verbale, foto; 5 MB al massimo ciascuno).
- la registrazione è fatta a nome della persona connessa — mai un nome digitato in un campo;
- l’impronta SHA-256 di ogni allegato entra nella consegna, quindi sotto il sigillo: un allegato sostituito successivamente non corrisponde più;
- una registrazione non si modifica né si cancella: la successiva la sostituisce per il verdetto, la cronologia conserva entrambe;
- il certificato distingue il test manuale da un risultato di CI, e indica quanti requisiti sono provati in questo modo;
- un caso automatizzato non si registra: si prova con i risultati della CI.
Annullare un caricamento errato
Un report inviato per errore (branch sbagliato, progetto sbagliato) si annulla dalla scheda «Esecuzioni», con un motivo: resta nella cronologia, contrassegnato come annullato (da chi, quando, perché), ma non conta più per il verdetto. Si ripristina allo stesso modo. Una registrazione manuale errata si annulla allo stesso modo. Le consegne già emesse conservano ciò che hanno sigillato; la consegna successiva indica i caricamenti annullati.
Il piano
Scarichi il modello: plan-modele.json — tre requisiti del CRA, quattro test. Lo carichi (scheda «Requisiti»), poi uno dei tre modelli di risultati: i quattro test sono collegati, e uno di essi fallisce — vede che cosa diventa un requisito fallito, fino al verdetto.
Caricare
- dallo schermo: passo ② del Percorso, oppure scheda «Esecuzioni»;
- dalla CI:
POST /runs?p=<projet>&format=jsoncon la chiave CI del progetto — veda Collegare la propria CI.
La risposta indica il formato riconosciuto (dialecte), i test collegati, quelli fuori piano e quelli del piano mai eseguiti.