评测要隔离的是数据,不是提示词:一个开关拆成两半

评测程序起一个任务,希望它跑完不留痕迹:不进记忆、不被别的对话看到、不当成改进素材。最省事的办法是给它套上现成的「隔离对话」。问题是这套机制会在提示词里告诉模型「你在隔离对话里」,于是被评测的就不再是平时干活的那个 agent。这次的改动把隔离拆成两半,只留数据那一半。
1. 问题:评测测到的应该是日常那个 agent⌗
MaxClaw 有一个只接受本机回环连接的任务接口 POST /api/tasks,给评测程序、脚本这类本机程序用。它起的任务和 agent 自己用 task_start 起的是同一种任务:提示词组装、工具、模型和 Tool Host 的解析都一样,区别只是没有对话拥有它,结束后只写在任务行上,不唤醒任何线程。
评测程序往这个接口塞题目,会带来两个要求,它们方向相反:
| 要求 | 原因 |
|---|---|
| 数据要隔离 | 评测题是合成的,沙盒里的事实不该变成长期记忆;一道题跑挂了,也不该被当成「agent 在日常工作里出了问题」写进改进信号 |
| 行为不能变 | 评测想量的是平时那个 agent。送给模型的请求只要多一段话,测到的就是另一个配置 |
第一条 MaxClaw 早就能做到,靠的是隔离对话(seal tier = isolated):线程挂在一个「岛」上,岛里的行不进记忆,岛外的线程读不到。但这个机制顺手做了第二件事,在会话上下文里加一段说明:
# 🔒 隔离对话
本对话是隔离对话:内容只在本对话及其分支、任务里可见,Main 和其他对话都看不到;你可以使用全局记忆。
对人用的隔离对话来说,这段话是必要的。模型得知道自己写下的东西 Main 看不见,否则它会说「我已经同步给主线了」这种不成立的话。可是放在评测里,它就成了干扰:模型读到「隔离」两个字,可能更谨慎,也可能更随便,具体往哪边偏谁也说不准,偏偏这正是评测要排除的变量。
2. 拆法:隔离 = 数据边界 + 一句告知⌗
这次改动的核心是承认「隔离」其实是两件事,以前绑在一起,现在可以分开:
┌──────────────── 数据侧(保留) ────────────────┐
isolated: true ──▶ │ threads.seal_tier = 'isolated' │
│ threads.seal_root_id = 自己(岛根) │
│ → 记忆积压、search_memory、message_read、 │
│ 会话卡片、改进信号、Main 视图:全部按既有谓词排除 │
└────────────────────────────────────────────────┘
┌──────────────── 模型侧(关掉) ────────────────┐
│ threads.origin.silentSeal = true │
│ → 会话上下文不追加「# 🔒 隔离对话」段 │
└────────────────────────────────────────────────┘
落到代码上,模型侧的改动只有一行判断。src/runtime/turn-runner.ts:
const sealTier = await agent.turnMemory.sealTier(agent.sessionId)
// 数据侧隔离(任务 HTTP 接口的 isolated)不向模型说明:请求与不隔离的同一任务逐字节一致。
const sealSilent = sealTier !== 'open' && await agent.turnMemory.sealSilent(agent.sessionId)
// ……
if (sealTier !== 'open' && !sealSilent) sessionContextParts.push(SEALED_CONVERSATION_SECTION[sealTier])
有两个细节:
sealSilent只在线程本来就是隔离的时候才查,公开线程走短路,不多查一次。查询本身读的是sealTier用的同一行线程记录,走进程内线程缓存,稳态下没有额外 SQL。- 标记放在
threads.origin里,键名是silentSeal(常量SILENT_SEAL_ORIGIN,src/threads/visibility.ts),没有加新列,也没有加新的 seal 级别。对数据层来说,这个线程就是一个普通的隔离线程。
接口那边同样很薄。isolated 只接受布尔值,别的类型直接 400;false 或者不传,行为和以前一样。src/server/task-api-routes.ts:
function flag(b: Record<string, unknown>, name: string): boolean | undefined {
const value = b[name]
if (value === undefined || value === null) return undefined
if (typeof value !== 'boolean') throw new TaskApiBadRequest(`${name} must be a boolean`)
return value
}
一次虚构的调用大致是这样:
{ "goal": "在沙盒里把失败的测试修好,跑通全部用例", "label": "评测·示例", "isolated": true }
还有一点:这个参数不在 agent 的工具面上。StartTaskParams.isolated 的注释写明它只属于任务 HTTP 接口。agent 自己起任务的时候没法打开「静默隔离」,所以「对模型不说」只发生在外部程序明确要求的场合。
3. 为什么不新造一个「评测任务」标记⌗
更直觉的做法是加一个 is_eval 列,然后去记忆抽取、检索、改进信号、会话卡片……每条管线里各补一句 AND NOT is_eval。这么做的问题很明显:
新造 is_eval | 复用 seal + silentSeal | |
|---|---|---|
| 新增的排除谓词 | 每条管线一处,漏一处就泄漏一处 | 0:管线早就在按 isolatedThreadSql / visibleThreadSql 过滤 |
| 将来新增一条读取管线 | 要记得同时处理 is_eval 和 seal 两套 | 只按 seal 处理就够了,评测任务自动跟着 |
| 已有的守卫测试 | 管不到新概念 | visibility-guard 照常约束所有跨线程读取 |
| 模型侧差异 | 不涉及 | 用一个 origin 键关掉告知 |
记忆积压的谓词 memoryRowSql(src/memory/extraction.ts)最后一行本来就写着:
AND NOT ${isolatedThreadSql(q, 'm.channel')}
评测任务的线程只要是岛,这一行就会把它挡在外面,不需要知道它是不是评测。提交说明里的原话是「没有新增任何平行的排除概念或新的查询条件」,测试也是照这句话写的,下面第 5 节会讲。
「隔离」这个概念本来就有一套完整的语义:读谓词、写方向检查、守卫测试。新需求和它在数据侧的诉求完全重合,唯一不同的是要不要告诉模型。所以合理的做法是把「告诉模型」这个维度拆出来,而不是在旁边再造一个只有一半语义的概念。
4. 「逐字节一致」得先查清楚:seal 还会影响哪些地方⌗
只删掉一段说明,并不能保证请求就一致。如果 seal 还从别的路径影响送给模型的内容,比如工具列表、模型路由、召回结果,那拿掉这段说明也没用。所以这次改动先做了一遍排查,确认会话上下文里的隔离段是 turn 路径上唯一按 seal 改变送模内容的地方:
| 进入模型请求的部分 | 它看什么 | 受不受 seal 影响 |
|---|---|---|
| 工具声明 | 线程角色 / channel 类型 / provider 格式(runtime/tool-availability.ts) | 否 |
| provider 解析 | 路由配置;src/llm/ 里没有任何 seal 引用 | 否 |
| 召回与开工简报 | viewer 的岛;新建的岛里还没有内容,所以看到的事实集和全局 viewer 相同 | 否(对新任务而言) |
| 项目附注 | 按 viewer | 否 |
| 主机说明 | 按 Tool Host,不按线程 | 否 |
| 会话上下文的隔离段 | sealTier | 是:这次用 silentSeal 关掉的就是它 |
remember、主机说明审核、全局热层写入这些地方确实会因为 seal 表现不同,但它们都在工具结果这一层:只有模型主动调用了才会出现,不会改变回合开头发出去的那份请求。
5. 证据:三条线级测试,外加一条对照⌗
新增的 src/dispatch/task-isolated-request.wire.test.ts 跑的是真 MemoryManager、真 PG 线程和真 turn loop,只有 provider 是假的:它拦截 HTTP 请求体存下来。比较的对象是请求里在对话正文之前的固定部分,也就是 system 和 tools。
先要处理一个干扰:两个任务的请求不可能完全一样,因为会话上下文里会写上任务自己的线程 id(Current task thread: subagent:<id>)。测试把这个 id 替换成占位符再比较。为了说明这个替换没有偷偷抹掉别的差异,测试专门安排了三条用例互相印证:
| 用例 | 断言 | 证明什么 |
|---|---|---|
| 隔离 + 静默 vs 公开 | 替换线程 id 后 system+tools 相等;请求里不出现「本对话是隔离对话」;请求含 # Memory 段且工具非空 | 主命题成立,而且比较的不是两份空请求 |
| 公开 vs 公开 | 替换后相等,替换前 system 不等 | 线程 id 是任务间唯一的差异;这个替换对普通任务同样适用,不是为隔离单开的特例 |
| 隔离但不静默 vs 公开 | 请求含 # 🔒 隔离对话,替换后不等 | 对照组:这套比较能发现差异,第一条的「相等」不是比较方法本身失灵造成的 |
第三条最关键。如果比较函数本身有 bug,比如把整个 system 都归一化掉了,前两条照样会过。第三条要求同一套比较能看出「多了一段隔离说明」,这样前两条的结论才站得住。
数据侧那一半由 src/server/task-api-routes.test.ts 新增的两条用例来证。它通过接口起一个隔离任务和一个普通任务,各留一条 assistant 消息,再用管线实际在用的谓词去数:
| 线程 | isolatedThreadSql | visibleThreadSql(全局 agent viewer) | memoryRowSql |
|---|---|---|---|
| 隔离任务 | 1 | 0 | 0 |
| 普通任务 | 0 | 1 | 1 |
同一个测试还断言:隔离任务的线程行 seal_tier='isolated'、seal_root_id 指向自己、origin.silentSeal === true;GET /api/tasks/:id 照常返回状态、最终回复文本和 token 用量,因为调用方是起这个任务的人,当然能读到结果。另一条用例确认 isolated: 'yes' 返回 400,isolated: false 建出来的是公开线程。
整个改动是 32 个文件,+352 / -6。其中 16 个测试文件各只加了一行:TurnMemory 契约多了 sealSilent 成员,凡是手写假 TurnMemory 的测试都得补上。这是给接口加成员的固定成本,类型检查会把每一处都找出来,漏不掉。
6. 边界和还欠着的地方⌗
这是数据边界,不是保密边界。 设计文档 docs/http-task-api.md 写得很直白:机器、Tool Host、模型 provider 看到的这个任务和其他任务没有区别。isolated 只保证 MaxClaw 内部的记忆和改进管线不吸收它。要防的是评测数据污染长期状态,不是防人看到。
「一致」测的是第一次请求的 system 和 tools。 测试覆盖的是回合开头那份请求的固定部分。之后的请求会带上工具结果。如果模型在评测里调用了 remember 这类按 seal 表现不同的工具,它看到的结果可能和公开任务不一样。这一点第 4 节已经划进了「工具结果层」,但它确实意味着:多步之后两条轨迹是否还一致,取决于模型有没有碰到这些工具。测试没有覆盖这种情况。
silentSeal 不会传给子任务(这一条是我按代码读出来的,没有测试覆盖)。seal 级别按「自身或祖先」生效,所以评测任务再起的子任务会继承岛,数据侧照样隔离。但 sealSilent 只读子任务自己线程的 origin,createTaskIdentity 也只在调用方显式传 silentSeal 时才写这个键,而 agent 的工具面上没有这个参数。结果就是:评测任务派出去的子任务,提示词里会出现「# 🔒 隔离对话」。对只跑单线程的题目没有影响;如果被测的恰好是「agent 怎么派子任务」,子任务的行为就和日常不一样了。要修,可以让 sealSilent 跟 sealTier 一样沿祖先链查,代价是多一次祖先查询,还要多一条对应的线级测试。
7. 一句话⌗
一个开关同时管两件事时,先别急着在旁边另造一个开关。先看清它管的是哪两件,再把需要的那件单独接出来。这次留下的是数据边界,它有现成的谓词和守卫测试;关掉的是那句告知,它是唯一会改变模型所见内容的地方,所以证明「请求逐字节一致」时也必须带上一条对照组。