落地通道在主干基线上复核失败的测试时,怎样区分「主干本来就红」「候选分支弄坏的」和「这次什么也没测出来」。

1. 门禁要回答的问题⌗

MaxClaw 的代码改动要经过落地通道才能进主干。通道把候选分支合到当前 main 上,跑受影响的测试。失败的文件单独再跑一次,还是失败,就进入归属判断:这个失败到底是谁的?

可能的答案有两个,记录在 FailureAttribution 里:

归属含义后果
candidate候选改动本身的问题落地失败,退回给派活的人(或自动修复流程)补
main-red这个用例在 main 上本来就红不算候选分支的错,记进主干红名单,并尝试找出可疑提交

判断 main-red 的方法很直接:把候选分支失败的测试文件拿到合并基线(merge base)上单独跑。基线上也红,就是主干的;基线上绿,就是候选的。

这个设计有个隐含前提:基线上那一次运行一定能给出红或绿。可测试机是共享的,会排队,会过载,单个文件也有 10 分钟的总预算和 5 分钟的无输出超时。基线运行完全可能「没跑完」。

2. 旧代码里,「没跑完」等于「红」⌗

改动之前,productionBaselineCheck 判红用的是这一行:

if (run.code !== 0 || tests.length) red[file] = tests

超时的运行没有退出码(code 为 null),null !== 0 成立,于是这个文件被记成红,而且是「红但没有点名的用例」(tests 为空数组)。接着由 failsTheSameOnBase 对比:

return onBase.length === 0 || failures.every((f) => onBase.includes(f.test))

空数组的意思原本是「整个文件都挂了」,所以直接返回 true。这样一来,一次超时的基线运行要走完整条链:

基线上超时 ──► red[file] = []  ──► 「整个文件在 main 上都挂」 ──► main-red
                    │                                             │
                    ▼                                             ▼
          写进按 main sha 的缓存                 写进主干红名单,再去找「可疑提交」
       (保留最近 30 个 sha,之后不重跑)

测试机负载高时的失败也会这样。数据库连接被掐断、钩子超时、用例超时,这些在过载时最常见的症状一样会点名失败的用例,基线上的失败用例名又刚好对得上,于是被认定为主干红。

旧的二值判断会同时在两个方向出错:

  • 放过候选分支。 候选真的弄坏了某个用例,基线那次恰好超时,候选就被当成「主干本来就红」放行了。
  • 冤枉主干、污染后续。 这个文件进了主干红名单和缓存,之后每个碰到它的落地都会读到「main 上这里本来就红」。可疑提交的查找还会把责任指向某个无辜的提交。

还有个不太显眼的问题:落地记录里的退回理由,只要做过基线检查,就一律写成「在 main 基线上通过」。如果失败的是候选分支新加的测试文件,main 上根本没有这个文件,也会被这样描述。

3. 三值:红、绿、未判定⌗

修复的核心是新函数 baselineVerdict,它返回三种结果之一:

export type BaselineVerdict =
  | { kind: 'green' }
  | { kind: 'red'; tests: string[] }
  | { kind: 'inconclusive'; why: string }

判定顺序本身就是规格:

超时,或日志里没有跑完的汇总            → inconclusive(timed out / the run did not finish)
退出 0、本文件没有失败用例:
    汇总里 Ran N tests,N ≥ 1          → green
    Ran 0 tests                        → inconclusive(ran no tests)
输出里有过载特征(连接中断/钩子超时/用例超时) → inconclusive(failed the way a loaded test machine fails)
非 0 退出但没有点名的失败用例           → inconclusive(exited N without a named failing test)
其余                                  → red,带上失败的用例名

production.test.ts 新增的一组测试把这几条固定下来:跑完并点名失败的是 red,跑完且通过的是 green;超时、只打了文件头就断掉、汇总后面跟着 CONNECTION_ENDED、1 error 加 Ran 0 tests、退出 0 却一个用例都没跑,全部是 inconclusive。

最后这一条值得单独说。「退出码 0」通常被当作绿的充分条件,但一个文件如果一个用例都没执行,退出 0 也什么都证明不了。三值判断里,绿要靠正面证据,也就是至少跑了一个用例。

4. 未判定在系统里怎么流动⌗

光有三值还不够,第三个值得在每个消费方那里都有明确的去处。这次改动沿着数据流改了四个地方。

缓存只存定论。 cachedMainCheck 只把红和绿写进按 sha 的缓存,未判定的文件不写,下次问到会重跑。返回值多了两个字段:checked 列出得出定论的文件,inconclusive 记下每个未判定文件的原因。main-red.test.ts 的新用例断言:同一 sha 上第二次查询时,只有 src/slow.test.ts 被重新执行。

归属按文件分五种读法。 lane 里的 readBase 对候选的每个失败文件给出一个 BaseReading:

读法条件去向
main-red基线点名红,且候选在该文件的每个失败用例都在其中主干红,不算候选的错
green基线跑完且通过候选的
not-on-basemain 上没有这个文件候选的,记录里注明是新增的测试
red-otherwise基线也红,但红的是别的用例候选的,记录里列出 main 上红的是哪几个
inconclusive基线没给定论,或基线红但没点名用例既不是主干的,也不是候选的

「基线红但没点名用例」现在也归为未判定。旧代码把空列表当成「整个文件挂了」,可以替候选的任何失败开脱;新代码认为它是「两边都没有证据」。对应的测试名把意思写得很清楚:red on the baseline without a named test does not excuse the candidate’s named failure as main red。

全是未判定就排队,不判失败。 如果剔除主干红和未判定之后,候选名下已经没有失败文件,日志里也没有定位不到的错误,lane 就返回 infra。落地被 hold:状态保持 queued,打上 waitingForTests,步骤名是 verify-infra,说明里写明「不是对该分支的判定」。如果候选名下还有自己的失败,就照常失败,未判定的文件附在理由末尾:「另有 X(在 main 基线上没得出结论:timed out on the baseline),不算进本次失败」。

复查时,未判定不能把已知红洗成绿。 主干红名单里的旧文件会在新 main 上复查,复查通过的会被移出名单。复查结果里未判定的文件,现在在 afterRecheck 之前就被过滤掉,所以一次超时不会被当成「已经修好了」。测试 a known red file the new baseline could not judge stays known red instead of being dropped as green 守着这一条。

整体流向如下:

            候选在合并后失败的文件 f
                     │
              在 merge base 上单独跑 f
                     │
      ┌──────────────┼───────────────┐
     red            green        inconclusive
 (用例对得上)     / 不在 main      / 红但没点名
      │                │              │
  main-red         candidate      不归任何一方
 进红名单+缓存     退回派活的人     不写缓存;若候选名下已无失败
                                   → queued,等测试机

5. 把 environment 从「失败归属」里删掉⌗

FailureAttribution 原来有三个值,第三个是 environment。这次把它删了:

export type FailureAttribution = 'candidate' | 'main-red'

提交说明里的理由是:这个值从来没被写入过。没有结论时,lane 走的是 hold,不是失败。可下游还在为它写读法:readLanding 有一条「环境的事」,结果事件也有一段文案。类型里留着一个不可能出现的值,读代码的人会以为「测试机的问题」是失败的一种,只是归属不同。

删掉之后,类型本身就表达了设计:环境问题不是一种失败,而是一种状态。 失败要有人负责;没有结论的事只需要等。维护文档 docs/maintainer.md 也同步改成了「测试机没给结论不算失败:落地留在队列里等测试机」。

6. 自动修复:以最后一条结论为准⌗

同样的问题在自动修复流程里还有一个变体。修复任务结束而没有交付时,框架要判断原因。原因决定下一步:candidate 之类的原因会换下一个模型重做;test-slots 这类环境原因会让同一个模型重试,并且等环境就绪后再继续。

旧的 testMachineTroubleIn 在修复线程开始后的工具结果里找排队、繁忙、内存保护之类的字样,只要出现过一次,就判为 test-slots。设想一次验证:先排队等了半秒,拿到槽位,跑完,结论是代码原因、未通过。那半秒的排队行仍然会让整次失败被归到环境上。反过来,一个真正因为测试机不可用而一直没有结论的验证,则取决于有没有恰好打出那几种字样。

新的 endsInTestMachineTrouble 只看最后一条结论行:

const conclusions = [...text.matchAll(new RegExp(`${CONCLUSION}[^\n]*`, 'g'))]
const last = conclusions.at(-1)
if (last) return last[0].includes(ENVIRONMENT_VERDICT)
return new RegExp(TEST_MACHINE_TROUBLE).test(text)

SQL 侧也从「存在一条匹配」改成「按时间倒序取最近一条匹配的工具结果」。测试列出的边界如下:

输出判为测试机问题?
排队行,随后「结论:代码原因 — 未通过」否
排队行,随后「结论:环境原因,无结论」是
先「环境原因」,后「通过」否
「结论:无结论,运行停滞」否
只有排队行,没有任何结论是

注意这里有个和 lane 不对称的地方:在自动修复里,「超时」和「停滞」不算测试机的问题。结论行本身就这么写:停滞「可能是停在的那个测试挂住,也可能是测试机;先看该文件」。修复任务的验证是模型自己选择跑哪些测试的,挂住的测试很可能就是它刚改过的那个。而 lane 的基线运行跑的是 main 上的代码,候选分支碰不到它,所以基线上的超时对候选来说不构成证据。同样是「没跑完」,在两个地方证明的东西不一样。

7. 为什么比「失败就重试 N 次」好⌗

处理抖动测试最常见的办法是自动重试:失败了再跑一两次,有一次过了就算过。通道里也确实有一次串行重跑(verifyWithRerun)。但重试只能回答「这个用例稳不稳」,回答不了「这次失败归谁」。在负载高的测试机上,重试三次全挂,最多说明机器一直很忙。

三值归属的不同在于,它把证据的强度写进了类型:

  • 红要点名。 退出码非 0 不等于红,必须有失败的用例名,而且要和候选的失败一一对上,才能替候选开脱。
  • 绿要有运行。 退出码 0 不等于绿,至少要跑过一个用例。
  • 其余一律未判定。 未判定不进缓存、不进红名单、不把已知红洗成绿,也不能单独让一个落地失败。

这样,测试机的抖动最多让落地多等一会儿,不会变成派活人收到的退回,也不会变成主干上一条错误的记录。

8. 还没解决的⌗

  • 未判定没有出口。 从这次提交的代码看,hold 每次把 infraRounds 加一,但我没找到上限。如果某个文件在 main 上是确定性地跑不完,比如它本身就会挂住,那么每次基线复核都是未判定,碰到它的落地会一直排队。好在状态是可见的(waiting for test machine availability),不会悄悄卡死。但「测试机忙」和「这个文件在 main 上永远跑不完」,目前在同一个桶里。这是我读代码得出的推断,没有实际复现过。
  • 过载特征是一张固定清单。 environmentEvidence 只认三类签名:连接中断、钩子超时、用例超时。真实的代码缺陷也可能表现为用例超时。如果基线上的超时来自 main 自己的 bug,它现在会被判为未判定,而不是主干红,于是又落到上一条。
  • 三值只到文件这一级。 一个文件里如果有的用例点名红了、另一部分被超时截断,整个文件按超时判为未判定,点名红的那部分信息就丢掉了。这是有意的保守选择:截断的运行,连「红的就只有这几个」都不能保证。代价是少用了一部分证据。

这三条加起来说明,第三个值不是终点。它只保证了一件事:门禁没有证据时,不会替任何一方编出一个结论。