正则当门卫:一道猜意图的模型门,是怎么长到十几个地方的

一次 +67 / −494 的删除:去掉「按任务书关键词判定安全类工作并替换模型」的机制,模型边界只留显式的类别。
1. 门长什么样⌗
MaxClaw 派后台任务时(task_start),原先有一个叫 taskModelPolicy 的判定。它把任务的 goal、context、工作区路径和线程类别名拼成一个字符串,用六条正则去匹配,任一条命中就把任务标成 'security':
const SECURITY_WORK = [
/网络安全|信息安全|安全(?:审计|评估|分析|研究|漏洞)|(?:应用|软件|协议|代码)?逆向|反混淆|渗透测试|漏洞(?:分析|利用|扫描)/,
/鉴权|认证绕过|权限(?:判定|边界|绕过)|.../,
/\b(?:IT Security|cybersecurity|pentest|deobfuscat\w*|exploit\w*|vulnerabilit\w*)\b/i,
/\breverse[- ]engineer\w*\b/i,
/\b(?:security|authentication|authorization|credential|trust)[- /](?:audit|review|analys\w*|boundar\w*|bypass)\b/i,
// 第六条:两个具体的文件 / 目录名
]
被标成 security 以后,taskModelAllowed 会按模型名推断厂商,把 Anthropic 和 OpenAI 两家的模型排除掉。候选里一个合规的都没有时,抛 TaskModelPolicyError。
(写这篇文章的模型正好属于被排除的那两家之一。下面的判断如果有立场偏差,读者可以自己打个折扣。不过论证只依赖代码和测试。)
这条规则的初衷说得通:某类工作不交给某些模型。问题在于实现方式。它没有把这件事登记成线程的一个属性,而是在入口处读任务书,猜这是不是那类工作。
2. 同一个任务,被判了好几次,每次判的文字都不一样⌗
先看判定发生在哪里。在删除前的父提交上,taskModelPolicy(...) 有 7 处调用,读的输入各不相同:
| 时机 | 位置 | 判定的文字 | 命中后 |
|---|---|---|---|
| 派发任务 | createIdentity | goal + context + 仓库路径 + 类别名 | 换掉模型,写进线程 origin,之后一直沿用 |
| 每一轮直连回合 | executeTurn | 这一轮的消息 userMessage | 作为 taskModelPolicy 传到 router |
| 每一轮 CLI 回合 | executeCliTurnPath | 这一轮的消息 | 模型不合规就直接抛错 |
| 续派换模型 | applyContinuationOverrides | 续派消息 | 新模型不合规就抛错 |
| 自动修复选模型 | fixCandidatesFor | 信号标题 + 组件 + brief | 从候选里剔除 |
| 落地评审选评审者 | chooseReviewer | 标题 + 论点 + 改动文件 + commit message | 剔除,或者整单 no-reviewer |
| 落地评审选作者 | chooseWriter | 同上 | 剔除,或者文章 failed |
被判定的输入有五种。只要其中一种里出现了一个关键词,这个任务在那个环节就变成「安全类」。这样一来,同一件工作在不同环节可能得到不同的结论。
旧代码对这个问题有一处补救。autofix.ts 原来的注释是:
/** The fix task's own content: what its model policy is decided on, so the
* candidate model is chosen against exactly the text the task start will judge. */
也就是说,自动修复选模型时必须拿「派发时会被判定的那段文字」再判一遍,否则会出现选中的模型到了派发环节又被拒的情况。设计文档里有一次记录:三次自动修复都在派发的那一刻被这条规则拒掉,整单失败。修法是在候选列表里再加一道同样的过滤。这道启发式判定为了让各处结论一致,只能被复制到更多地方。
3. 漏判⌗
正则只看得到写进任务书的字。一个真正的安全类任务,只要措辞没用到这些词,就不会被拦。例如任务书写的是「查一下为什么这个接口不带 token 也能调通」,里面没有「鉴权」「漏洞」,也没有 security,规则不会命中。
另外,判定只读任务书和每一轮的消息,不读工具结果。模型通过 read_file、shell 读进上下文的源码、日志、抓包,才是它真正处理的内容,但这些内容从头到尾没经过这道门。门守住的是任务的标题,任务里面的东西它看不到。
4. 误伤⌗
反过来,只要出现关键词,规则就会命中,不管上下文。例如任务书写「给新同事写一份文档,讲清楚登录流程里各步骤的鉴权顺序」,其中有「鉴权」,Claude 和 GPT 就都被排除了。这次提交新增的测试专门固定了这一点:goal 里有「鉴权」、显式指定了一个 Anthropic 模型的任务,现在会照指定的模型跑:
test('a goal that mentions 鉴权 keeps an explicitly chosen Anthropic model (no keyword policy)', ...)
expect(started.model).toBe('vendor/claude')
expect('model_note' in started).toBe(false)
更隐蔽的一种误伤是类别名本身被当成了关键词。第三条正则里有 IT Security,而判定的输入里拼进了 category。所以一个类别叫 IT Security 的线程必然命中。这个类别在 LLM 配置里给哪些模型打了标签,原本就是一份明确的名单,但关键词规则覆盖了它。landing-review.test.ts 里有一行断言的变化正好说明这一点:
- expect(chooseWriter(catalog, 'IT Security')).toBe('opencode-go/deepseek-v4.1')
+ expect(chooseWriter(catalog, 'IT Security')).toBe('cpa/gpt-6')
测试目录里的 gpt-6 打了 IT Security 标签,也就是配置已经明确允许它处理这类内容,但旧规则因为类别名命中正则,把它换掉了。删除之后,结果由配置决定。
5. 调用方看不清实际跑的是哪个模型⌗
旧的 createIdentity 在调用方显式指定模型时,处理方式值得单独看。原注释写的是:
// An explicit model (a palette or one provider id) pins the chain, so nothing compliant may be in it: the
// task's own content need not be security work — a title in the goal text can carry the match. Dispatch
// to a compliant provider instead of failing the job; the policy itself is not relaxed.
这段注释自己承认了误判:「任务内容不一定是安全工作,goal 里的一个标题就可能命中」。它选择的处理方式不是失败,而是悄悄换一个模型继续跑:
- 调用方指定的是
palette:frontier,实际派发到的是路由链上第一个「合规」的模型; - 任务记录里的
requested_model存的是替换后的模型,看记录会以为调用方当初要的就是它; - 唯一的提示是返回值里的一个
model_note,再加一行console.warn。
另外,每一轮都会重新判定当轮消息。理论上,一个用 Claude 正常跑着的任务,收到一条提到「顺便看下鉴权」的追加消息后,下一轮的 router 会把 Claude 从候选里过滤掉;如果它被钉成唯一候选,这一轮就会抛错。(这是按代码路径推出来的,没有测试覆盖这种情况。)
同一套代码里,类别的做法正好相反。显式指定的模型没有该类别标签时,派发直接拒绝,并说明原因:
throw new Error(`这个对话属于类别「${category}」:模型 ${params.model} 没有这个类别标签,任务的内容不会发给它`)
类别不合规会拒绝派发并告诉调用方原因,关键词规则则是自作主张换了模型。
6. 门的数量:它是怎么扩散的⌗
一条按内容判定的规则,要想说到做到,就得在每一个「内容可能流向模型」的地方都执行一次。删除前,策略相关的检查与过滤分布在这些地方:
task_start ─┬─ createIdentity 判定 + 替换 + 写 origin
├─ executeTurn 每轮判定 ─┐
├─ executeCliTurnPath 每轮判定 + 抛错
└─ applyContinuationOverrides 判定 + 抛错
│ taskModelPolicy 选项
session-agent → turn-runner → direct-loop-host ┘ 逐层透传
▼
LLMRouter ─┬─ 主链候选过滤
├─ 终极回落池过滤
└─ resolveThreadModel / threadContextWindow
auto-fix ──── fixCandidatesFor 剔除
landing-review ─ chooseReviewer / chooseWriter 过滤 + service 两处捕获 TaskModelPolicyError
一个可选参数要穿过四层运行时才能到达 router,另外还有一个持久化字段(thread.origin.taskModelPolicy)和一个专用的错误类型。router 里面,策略过滤就写在一段注释的正上方,那段注释写着「线程类别:唯一卡点」。
这次删除的 494 行,大部分就是这些执行点和它们的测试:router.task-model-policy.test.ts、task-model-policy.test.ts 整个删掉;task-runner.test.ts 删了 4 个「安全策略」用例和 1 个「策略跨轮持久化」用例;autofix.test.ts 删了 3 个;落地评审的 model-policy.test.ts 删了 2 个。
7. 留下来的是什么:类别⌗
删除之后,模型边界只剩一种机制,也就是设计文档里那句「类别是唯一的模型限制」。
- 线程侧:类别是线程的显式属性,新建对话时从类别选择器里选;任务继承所属线程的类别。
- 模型侧:LLM 配置里每个 provider 有
categories标签(hasCategory/hasCategories)。 - 执行:只在 router 一个地方执行。没有标签的候选一律跳过,一个都没有就抛
CategoryModelError,如实失败,不会回落到组外。内容同时属于多个类别时,取「读者交集」:只有打了全部标签的模型能看。 - 钉选校验:钉住的 palette 里只要有一个组外成员就拒绝(
modelRefInCategory),防止链内回落出组。
两种机制逐项对比:
| 关键词判定 | 类别 | |
|---|---|---|
| 决定依据 | 任务书的措辞 | 线程上的一个字段 + 配置里的标签 |
| 同一输入是否结论稳定 | 换个说法结论就变 | 与措辞无关 |
| 覆盖范围 | 只有任务书和每轮消息,不含工具结果 | 线程的所有模型调用,包括后台辅助调用 |
| 不合规时 | 悄悄替换模型,记录里写替换后的 | 拒绝,说明原因 |
| 执行点 | 十几处,并且要求各处判定的文字一致 | router 一处 |
| 审计 | 要复现当时那段拼接文字才能解释 | 查线程类别和 provider 标签 |
类别更「安全」的原因不在于它更严。它是可以回答的:一个调用为什么没发给某个模型,看两个字段就能说清楚。关键词判定在误判时给不出解释,只能说「你的任务书里恰好有这个词」。
8. 删掉之后少了什么⌗
需要说清楚的是,这次删除不是零成本的。
没有类别的线程,现在任何模型都能处理安全类内容。 原先的机制起码在入口挡住一部分;现在,如果一件安全类的工作落在一个普通线程里,它会按正常路由走。保护变成了需要有人事先显式设定的东西:给线程选好类别,在配置里给允许的模型打上标签。显式规则也会被忘记,这确实是代价。
我认为这个代价值得付,理由有三条:
- 旧机制提供的保护本来就不可靠。 它挡不住措辞不同的同类工作,也挡不住经工具读进来的内容。一道「大概率能挡住」的门,会让人以为边界已经有了,反而更不会去设类别。
- 模型拒答另有处理通道。 某个模型不愿处理某类内容时,router 按拒答结束这次调用(
ProviderRefusalError,链内不降级),回合停下后进入模型失败卡片,由人或 Main 决定换模型、重试还是留着。这是事后依据模型的实际反应来处理,不需要事先按措辞猜。 - 旧数据不需要迁移。 已经写在线程 origin 上的
taskModelPolicy直接不再读取,没有 schema 变更,也不用回填。删掉一个只靠猜的状态,应该就是这么简单。
9. 一句话⌗
把模型边界挂在「人们怎么描述这项工作」上,结论会随措辞变化,还得在每个出口都复制一遍;挂在「这个线程被声明成什么」上,结论稳定,执行点只有一个。前者误判时会自己换个模型继续跑,后者不合规时会拒绝并说明原因。我更愿意要后一种。