NTT可追溯性:测试通过为何仍可能违背需求

黎 浩然/ 24 10 月, 2026/ 计算机/COMPUTER/ 0 comments

测试全绿,可能只是测试与代码犯了同一个错误。NTT于2026年10月23日公布的软件资产可追溯性技术,关注需求、设计、代码和测试之间的不一致。对开发者更直接的问题是:自动补测试之前,怎样确定“正确结果”没有跟着错误实现一起生成?

文章目录
  1. NTT把检查对象扩展到工件之间
  2. 两次信息丢失,两个测试仍通过
  3. 判定依据必须有版本,也必须允许争议
  4. 12格决策表如何找到两处差异
  5. 从反例回到修复,仍有一步要审
  6. 把“测试依据”作为可交付成果

NTT把检查对象扩展到工件之间

NTT原始公告介绍了按功能组织软件工件、重建上下游对应关系,以及补充测试视角的方法。公告的两部分检查互为补充:跨工件对齐寻找表述不一致,测试视角分析寻找尚未被验证的条件,并可用决策表组织补测。多检索几段相关文字并不自动等于完成这种检查。其初步实验在Macchinetta示例应用ATRS上进行:41处人为植入的设计文档错误中,新方法发现33处,传统RAG对照发现11处;另一组6处植入代码缺陷中发现4处,另报告3处潜在缺陷。

这些是厂商自报、特定示例上的结果,不是通用检测率。文档错误、植入代码缺陷和额外发现的缺陷属于不同集合,不能相加成一个准确率。下面的例子也不是对NTT系统的复现:它用一个虚构业务规则,把可追溯性到底要追什么拆开说明。

两次信息丢失,两个测试仍通过

假设需求R1明确规定:只有已付款、尚未发货,并且申请时间在付款后0至30分钟之间(包含30),才允许取消。这里是教学合同,不代表任何真实商家的取消政策。我们特意写清边界,避免把“30分钟内”这种有歧义的自然语言偷偷当成已经确认的规则。

设计D1仍保留“尚未发货”,却把时间条件误写成小于30。实现C1又遗漏发货条件,只检查已付款和0≤时间<30。现有测试只有两项:已付款未发货10分钟应允许;未付款未发货10分钟应拒绝。它们都通过,但一个边界和一个业务条件已在传递中消失。

R1 需求
已付款+未发货
0≤分钟≤30
↓ D1 设计
保留未发货
误改成分钟<30
↓ C1 实现
继续使用<30
又遗漏未发货
T1、T2 测试
只查10分钟正常路径
两项均通过
图1:本文自创工件链。R1→D1丢失包含30的边界,D1→C1丢失未发货条件。箭头表示对应关系,并不表示后者已被证明正确。

可追溯性在这里提供的是定位线索:某个条件最早在哪个工件中发生变化?如果只比较代码和由代码生成的测试,两者可能完全一致;把需求和设计纳入比较,才能看见实现之外的差异。功能单元也不应只按固定字符数切分:取消权限的条件、边界和例外要能放在同一个审查语境中。这个组织原则是工程解释,不是对NTT内部算法的重新实现。

判定依据必须有版本,也必须允许争议

测试需要判定依据,即给定输入时应当发生什么。本例的required函数直接来自已明确的R1;implementation代表有意写错的实现。两者分开,才能比较期望与实际。如果先让工具阅读implementation,再按它当前的行为生成所有期望值,测试数量即使增加,也可能只是在固化错误。

这不意味着文档永远比代码可靠。旧需求可能已经被批准的新规则替代,设计可能漏记变更,也可能存在不同租户或版本的策略。发现差异后,应先记录各工件的版本、适用范围和规则批准依据,再决定修代码、修设计还是修需求。不能因为链接到了需求编号,就自动宣布需求内容正确。

实际审查可以保留一条很短的证据链:R1的具体条件、D1的对应段落、C1的分支、覆盖该条件的测试。审查者沿链检查语义,而不仅是检查这些ID是否存在。若“包含30”仍未得到确认,工具应保留待决问题;擅自选择一个边界,再生成绿灯,会把业务分歧藏进测试里。

12格决策表如何找到两处差异

把付款与发货各取真假两种状态,时间取29、30、31三个值,得到2×2×3=12种组合。时间值分别位于边界之前、边界上和边界之后。与两个正常路径测试相比,这个小表明确覆盖了条件组合,并不声称穷尽所有输入。

已有测试
2个正常路径
✓ 2 / 2
扩展输入空间
付款2种 × 发货2种
× 时间29、30、31
差异A:未发货30分钟
需求允许 → 实现拒绝
边界遗漏
差异B:已发货29分钟
需求拒绝 → 实现允许
发货条件遗漏
图2:本文决策表的覆盖扩展与实际运行结果。12格中发现2处不一致;这里的数量仅属于这个教学程序。

保存为traceability_example.py,运行python3 traceability_example.py。以下标准库程序已在Python 3.15.0执行;不要加-O,以免关闭断言。输出中的两个三元组依次表示付款状态、发货状态、分钟数。

from itertools import product


def required(paid, shipped, minutes):
    # R1: the agreed fictional contract, including minute 30.
    return paid and not shipped and 0 <= minutes <= 30


def implementation(paid, shipped, minutes):
    # C1: intentionally defective implementation.
    return paid and 0 <= minutes < 30


old_cases = [
    (True, False, 10, True),
    (False, False, 10, False),
]
assert all(
    implementation(paid, shipped, minutes) == expected
    for paid, shipped, minutes, expected in old_cases
)

cases = list(product([False, True], [False, True], [29, 30, 31]))
mismatches = [
    (paid, shipped, minutes)
    for paid, shipped, minutes in cases
    if implementation(paid, shipped, minutes)
    != required(paid, shipped, minutes)
]
assert len(cases) == 12
assert set(mismatches) == {(True, True, 29), (True, False, 30)}
print({
    "existing_tests_passed": len(old_cases),
    "decision_table_cases": len(cases),
    "mismatches": mismatches,
})

程序确认旧测试2项通过,12种组合里有2处差异。它没有调用语言模型,也没有测量NTT工具。这里真正可复用的成果是把遗漏变成具体反例:未发货30分钟被错误拒绝,已发货29分钟被错误允许。报告若只写“覆盖率提高”,反而不如这两个输入能帮助定位修复。

从反例回到修复,仍有一步要审

这两处差异可以指导修复,但修复本身需要重新审查。先确认R1仍有效,再分别恢复包含30的边界和未发货条件。把两个反例保留为回归检查,并重跑原有正常路径,避免为了修一个边界而破坏另一个条件。若代码修好了,设计D1仍是错的,也应同步处理;否则下一次自动生成实现可能再次引入同样错误。

决策表的价值不在于机械枚举越多越好,而在于选中可能改变结果的分界。这里29、30、31足以暴露特定错误,但尚未检查负数、非整数、时间单位混用、付款后状态变化,以及检查完成到真正取消之间的并发竞争。真实接口若允许这些情况,就需要相应合同和验证。不能把12格通过升级成整套取消服务正确的保证。

引入自动分析时,可以先选一个边界清楚的功能试行,记录每个报警对应的工件版本、可复现输入、确认结果与人工处理。随后观察误报、遗漏和审查工作量,而不是只数生成了多少测试。还要把“发现不一致”和“确认缺陷”分开计数:一次报警可能对应过期文档,也可能只是规则未定;只有确认依据之后,才适合统计修复效果。NTT的示例结果支持继续研究这种跨工件检查,但尚不能替不同项目、语言和规模的团队回答实际收益。

把“测试依据”作为可交付成果

读这则新闻,最值得带回团队的不是一个检测百分比,而是一个审查问题:这个预期值由哪条已确认规则推出?当答案能够落到具体版本、条件和反例上,自动补测才有机会补进真正缺失的判断,而不是扩大现有实现的回声。

补发时新增相关阅读:EGM设计审查中的新上下文讨论如何获得另一轮审查视角;这里讨论的则是审查依据是否独立于被检查实现。English version。

本文原计划日期为2026年10月24日11:30(北京时间),实际于2026年10月30日补发。新闻依据为10月23日公开的NTT公告;文中图形和取消规则例子为原创教学内容。若这套条件追踪和反例构造方法帮你检查了自己的测试,欢迎自愿支持。

支持

如果文中的解释或示例帮你解决了问题、节省了时间,欢迎自愿打赏支持本站。

微信支持二维码,点击查看大图
微信
支付宝支持二维码,点击查看大图
支付宝
Buy Me a Coffee,点击支持本站
Buy Me a Coffee

二维码可点击放大。更多支持方式见支持页面。

Share this Post

Leave a Comment

您的邮箱地址不会被公开。 必填项已用 * 标注

*
*