QATrax
以 Markdown 查看

Java、C#、Python、Go……——不使用 Node.js 的 QATrax

用您所用语言的工具生成 SBOM 和测试报告,然后像所有客户一样上传。


作者:Dr Hamid MADANI <drmdh@msn.com>

QATrax 不读取您的代码。它读取所有语言都能生成的两个标准文件:

您既不必更换工具,也不必更换格式:Xray、TestRail、Allure TestOps 或 Azure DevOps 读取的也是这些格式。

其余流程对所有人都一样:简介。您的需求和测试计划只需设定一次,与所有客户相同: 需求和开发+测试计划标签页。

1. 按照计划为测试命名

每个测试的名称开头都带有其在计划中的编号(T-MOD-01)。各语言不允许在函数名中使用连字符;改用 _ 书写即可: 同样能被识别。在 BDD(Cucumber、Behave)中,或使用 Robot Framework、Allure 时,一个与编号相同的标签即可 (@T-MOD-01)。

语言测试名称
Java (JUnit)void test_T_MOD_01_aucune_vulnerabilite()
C# (xUnit, NUnit, MSTest)public void test_T_MOD_01_aucune_vulnerabilite()
Python (pytest)def test_T_MOD_01_aucune_vulnerabilite():
Gofunc Test_T_MOD_01_aucune_vulnerabilite(t *testing.T)
C++ (CTest)add_test(NAME T_MOD_01_aucune_vulnerabilite COMMAND …)
Robot FrameworkT-MOD-01 Aucune vulnérabilité(或标签 [Tags] T-MOD-01)
Cucumber、Behave在场景上方写 @T-MOD-01

格式详解:结果格式。

2. 生成 SBOM 和报告

一个适用于所有语言的工具:Syft 读取您的目录并生成 SBOM。

syft dir:. -o cyclonedx-json=sbom.cyclonedx.json

您也可以使用所用语言的 CycloneDX 工具:

语言SBOM(CycloneDX JSON)测试报告(原样)
Java — Mavenmvn org.cyclonedx:cyclonedx-maven-plugin:makeAggregateBom → target/bom.jsonmvn test → target/surefire-reports/TEST-*.xml
Java — Gradle插件 org.cyclonedx.bom,然后 ./gradlew cyclonedxBom → build/reports/./gradlew test → build/test-results/test/TEST-*.xml
C# — .NETCycloneDX 工具(dotnet tool install --global CycloneDX),或 Syftdotnet test --logger trx → TestResults/*.trx(TRX),或 NUnit 的 TestResult.xml,或 JunitXml.TestLogger 生成的 JUnit
Pythonpip install cyclonedx-bom,然后 cyclonedx-py environment --output-format JSON --output-file sbom.cyclonedx.jsonpytest --junitxml=resultats.xml
Java — TestNG同 Maven 或 Gradletestng-results.xml(原生)
GoSyft`go test -v ./... 2>&1 \go-junit-report > resultats.xml`
C、C++ — CMakeSyftctest -T Test → Testing/<date>/Test.xml(或 ctest --output-junit resultats.xml)
Robot FrameworkSyft(或 Python 的 CycloneDX 工具)robot … → output.xml
BDD — Cucumber、Behave所用语言的工具--format json:cucumber.json;behave -f json -o behave.json
Allure(任何语言)所用语言的工具allure-results/:jq -s . allure-results/*-result.json > allure.json 合并为一次上传
其他Syft,或 trivy fs --format cyclonedx --output sbom.cyclonedx.json .任何能输出上述格式之一(如 JUnit XML 或 TAP)的工具

3. 上传这两个文件

通过界面。 流程标签页:在第 ③ 步上传 SBOM,然后在第 ② 步上传报告(或在 执行记录标签页中上传)。报告会关联到页面顶部所选的版本。

通过您的 CI。 在项目标签页的 CI 密钥一栏创建一个密钥,然后用 curl 发送这两个文件。 在两次发送中都注明版本(version=):正是版本把您的测试归入该版本的档案。

V=1.4.0   # 您交付的版本
curl -fsS -X POST "$QATRAX_URL/sbom?p=$QATRAX_PROJET&version=$V" \
  -H "Authorization: Bearer $QATRAX_CLE" -H "content-type: application/json" \
  --data-binary @sbom.cyclonedx.json
curl -fsS -X POST "$QATRAX_URL/runs?p=$QATRAX_PROJET&version=$V&format=json" \
  -H "Authorization: Bearer $QATRAX_CLE" -H "content-type: application/xml" \
  --data-binary @resultats.xml

content-type 并不重要:格式根据内容识别(.trx、output.xml、Test.xml、cucumber.json……都以相同方式 发送)。如果您有多个报告文件(Maven 和 Gradle 每个测试类一个,Allure 每个测试一个),请逐个发送,或将 Allure 结果合并为一个数组。

响应会说明读取到的格式、在您计划中识别出的测试数量,以及未被识别的测试。

3 bis. 可选:已封存的验证报告,与 Node.js 相同

如果您的 CI 有 Node.js(18 或更高版本,大多数镜像都已包含),@mostajs/mjs-unit 可以读取您工具生成的报告。 它不会重新运行任何测试。它据此生成已封存的验证报告,与您的 SBOM 和计划绑定,并将其与计划和 SBOM 一起发送。 您无需编写任何 JavaScript。

# Java(Maven):Surefire 报告;.NET:TestResults(.trx 文件);Robot:output.xml;Allure:allure-results
export MJS_DEPUIS=target/surefire-reports MJS_SBOM=target/bom.json MJS_PLAN=plan.json
export QATRAX_URL=… QATRAX_CLE=… QATRAX_PROJET=…
npx -y -p @mostajs/mjs-unit mjs-unit-menu --choix=3   # 读取报告,写出已封存的验证报告
npx -y -p @mostajs/mjs-unit mjs-unit-menu --choix=4   # 发送计划、SBOM,然后发送验证报告

有了验证报告,qatrax 会多做两项核验:报告在读取之后未被改动,以及经过检验的确实是已上传的那份 SBOM。

4. 签发

最后一步与所有客户相同:在 SBOM/漏洞标签页逐个判定每个漏洞;然后进入 交付物标签页 → 签发并封存。

与 Node.js 相比有何不同

结论和证书完全相同。只有一处不同:已封存的验证报告。如果您直接(用 curl)发送 JUnit 或 TAP,qatrax 不会 进行验证报告的那两项核验。如果您通过 mjs-unit 的读取模式(§ 3 bis)提交,它就会进行。