Java、C#、Python、Go……——不使用 Node.js 的 QATrax
用您所用语言的工具生成 SBOM 和测试报告,然后像所有客户一样上传。
作者:Dr Hamid MADANI <drmdh@msn.com>
QATrax 不读取您的代码。它读取所有语言都能生成的两个标准文件:
- 您版本的 SBOM:CycloneDX 或 SPDX,JSON 格式;
- 您的测试报告,按测试工具的原样输出:JUnit XML(最常见)、NUnit、TRX、TestNG、Robot Framework、CTest、 Cucumber JSON、Behave JSON、Allure 2、CTRF 或 TAP。
您既不必更换工具,也不必更换格式:Xray、TestRail、Allure TestOps 或 Azure DevOps 读取的也是这些格式。
其余流程对所有人都一样:简介。您的需求和测试计划只需设定一次,与所有客户相同: 需求和开发+测试计划标签页。
1. 按照计划为测试命名
每个测试的名称开头都带有其在计划中的编号(T-MOD-01)。各语言不允许在函数名中使用连字符;改用 _ 书写即可: 同样能被识别。在 BDD(Cucumber、Behave)中,或使用 Robot Framework、Allure 时,一个与编号相同的标签即可 (@T-MOD-01)。
| 语言 | 测试名称 |
|---|---|
| Java (JUnit) | void test_T_MOD_01_aucune_vulnerabilite() |
| C# (xUnit, NUnit, MSTest) | public void test_T_MOD_01_aucune_vulnerabilite() |
| Python (pytest) | def test_T_MOD_01_aucune_vulnerabilite(): |
| Go | func Test_T_MOD_01_aucune_vulnerabilite(t *testing.T) |
| C++ (CTest) | add_test(NAME T_MOD_01_aucune_vulnerabilite COMMAND …) |
| Robot Framework | T-MOD-01 Aucune vulnérabilité(或标签 [Tags] T-MOD-01) |
| Cucumber、Behave | 在场景上方写 @T-MOD-01 |
格式详解:结果格式。
2. 生成 SBOM 和报告
一个适用于所有语言的工具:Syft 读取您的目录并生成 SBOM。
syft dir:. -o cyclonedx-json=sbom.cyclonedx.json
您也可以使用所用语言的 CycloneDX 工具:
| 语言 | SBOM(CycloneDX JSON) | 测试报告(原样) | |
|---|---|---|---|
| Java — Maven | mvn org.cyclonedx:cyclonedx-maven-plugin:makeAggregateBom → target/bom.json | mvn test → target/surefire-reports/TEST-*.xml | |
| Java — Gradle | 插件 org.cyclonedx.bom,然后 ./gradlew cyclonedxBom → build/reports/ | ./gradlew test → build/test-results/test/TEST-*.xml | |
| C# — .NET | CycloneDX 工具(dotnet tool install --global CycloneDX),或 Syft | dotnet test --logger trx → TestResults/*.trx(TRX),或 NUnit 的 TestResult.xml,或 JunitXml.TestLogger 生成的 JUnit | |
| Python | pip install cyclonedx-bom,然后 cyclonedx-py environment --output-format JSON --output-file sbom.cyclonedx.json | pytest --junitxml=resultats.xml | |
| Java — TestNG | 同 Maven 或 Gradle | testng-results.xml(原生) | |
| Go | Syft | `go test -v ./... 2>&1 \ | go-junit-report > resultats.xml` |
| C、C++ — CMake | Syft | ctest -T Test → Testing/<date>/Test.xml(或 ctest --output-junit resultats.xml) | |
| Robot Framework | Syft(或 Python 的 CycloneDX 工具) | robot … → output.xml | |
| BDD — Cucumber、Behave | 所用语言的工具 | --format json:cucumber.json;behave -f json -o behave.json | |
| Allure(任何语言) | 所用语言的工具 | allure-results/:jq -s . allure-results/*-result.json > allure.json 合并为一次上传 | |
| 其他 | Syft,或 trivy fs --format cyclonedx --output sbom.cyclonedx.json . | 任何能输出上述格式之一(如 JUnit XML 或 TAP)的工具 |
3. 上传这两个文件
通过界面。 流程标签页:在第 ③ 步上传 SBOM,然后在第 ② 步上传报告(或在 执行记录标签页中上传)。报告会关联到页面顶部所选的版本。
通过您的 CI。 在项目标签页的 CI 密钥一栏创建一个密钥,然后用 curl 发送这两个文件。 在两次发送中都注明版本(version=):正是版本把您的测试归入该版本的档案。
V=1.4.0 # 您交付的版本
curl -fsS -X POST "$QATRAX_URL/sbom?p=$QATRAX_PROJET&version=$V" \
-H "Authorization: Bearer $QATRAX_CLE" -H "content-type: application/json" \
--data-binary @sbom.cyclonedx.json
curl -fsS -X POST "$QATRAX_URL/runs?p=$QATRAX_PROJET&version=$V&format=json" \
-H "Authorization: Bearer $QATRAX_CLE" -H "content-type: application/xml" \
--data-binary @resultats.xml
content-type 并不重要:格式根据内容识别(.trx、output.xml、Test.xml、cucumber.json……都以相同方式 发送)。如果您有多个报告文件(Maven 和 Gradle 每个测试类一个,Allure 每个测试一个),请逐个发送,或将 Allure 结果合并为一个数组。
响应会说明读取到的格式、在您计划中识别出的测试数量,以及未被识别的测试。
3 bis. 可选:已封存的验证报告,与 Node.js 相同
如果您的 CI 有 Node.js(18 或更高版本,大多数镜像都已包含),@mostajs/mjs-unit 可以读取您工具生成的报告。 它不会重新运行任何测试。它据此生成已封存的验证报告,与您的 SBOM 和计划绑定,并将其与计划和 SBOM 一起发送。 您无需编写任何 JavaScript。
# Java(Maven):Surefire 报告;.NET:TestResults(.trx 文件);Robot:output.xml;Allure:allure-results
export MJS_DEPUIS=target/surefire-reports MJS_SBOM=target/bom.json MJS_PLAN=plan.json
export QATRAX_URL=… QATRAX_CLE=… QATRAX_PROJET=…
npx -y -p @mostajs/mjs-unit mjs-unit-menu --choix=3 # 读取报告,写出已封存的验证报告
npx -y -p @mostajs/mjs-unit mjs-unit-menu --choix=4 # 发送计划、SBOM,然后发送验证报告
有了验证报告,qatrax 会多做两项核验:报告在读取之后未被改动,以及经过检验的确实是已上传的那份 SBOM。
4. 签发
最后一步与所有客户相同:在 SBOM/漏洞标签页逐个判定每个漏洞;然后进入 交付物标签页 → 签发并封存。
与 Node.js 相比有何不同
结论和证书完全相同。只有一处不同:已封存的验证报告。如果您直接(用 curl)发送 JUnit 或 TAP,qatrax 不会 进行验证报告的那两项核验。如果您通过 mjs-unit 的读取模式(§ 3 bis)提交,它就会进行。