RSI 不一定改模型:Harness² 与 Dream-RSI 的两条递归路线
RSI 不一定改模型:Harness² 与 Dream-RSI 的两条递归路线
这两篇论文都在做递归自我改进(Recursive Self-Improvement,RSI),但都没有去动模型权重。
Harness² 和 Dream-RSI 是两篇方向相邻、切口完全不同的工作。前者把"Agent = Model + Harness"里的 harness 当成可递归修改的对象,在测试时为每个新任务改脚手架;后者把探索策略当成对象,用历史发现记录搭一个回放模拟器,在离线阶段"做梦"评估候选策略。
两篇都是 2026 年 9-10 月挂上 arXiv 的预印本,不是已经复现过三轮的定论。我把两篇 HTML 全文读完了,下面按"各自在解什么问题、怎么解、数字如何、哪里会失效"拆开讲,最后放在一起比较。先给结论:Harness² 解决的是没有标准答案时怎么判断一次修改是对的,Dream-RSI 解决的是元层反馈太慢太贵。这两个问题是目前 Agent 自改进最卡的两处。
本文提纲
- 共同背景:RSI 的对象可以不只有权重
- Harness²:在没有 verifier 的开放世界里改脚手架
- Dream-RSI:把发现历史当世界模型来"做梦"
- 放在一起看:三层递归各自的地盘
- 对做 Agent 的人意味着什么
共同背景:RSI 的对象可以不只有权重
两篇论文引的是同一批前作:AlphaEvolve、OpenEvolve、ShinkaEvolve、PACEvolve 这些"生成候选—评估—再生成"的发现系统,以及 Darwin Gödel Machine、STOP、Meta-Harness 这类改 agent 代码或改 harness 的自改进工作。
传统 RSI 改的是权重,需要训练基础设施和大量数据。这两篇走的是另一条路:把"改进"限制在可执行文本上。Harness² 改的是 prompt、工具说明、脚本、子 agent 这些文件;Dream-RSI 改的是一段决定"先探哪条分支、并行几个、什么时候停"的策略代码。模型、评估器、执行接口全部冻结。
这条路线的好处是每次修改都能立刻执行、立刻看结果,不需要梯度;坏处也很明显:反馈信号从哪来。Harness² 面对的是连标准答案都没有的开放任务,Dream-RSI 面对的是"评估一个探索策略要跑完整轮发现"的天价延迟。两篇的贡献,本质都是在给这个问题找便宜的替代信号。
flowchart TB
subgraph H2 [Harness2 task-time recursion]
A1[Open-world task] --> A2[Reference execution]
A2 --> A3[Propose invariant and domain candidates]
A3 --> A4[Probe on same task]
A4 --> A5[Compose successor harness]
A5 --> A6[Improvement harness library]
A6 --> A1
end
subgraph DR [Dream-RSI meta-policy recursion]
B1[Exploration policy code] --> B2[Online rollout builds discovery tree]
B2 --> B3[Replay simulator pool]
B3 --> B4[Dream over stored trees]
B4 --> B5[Best policy redeployed]
B5 --> B1
end
classDef task fill:#FF6B6B,stroke:#333,color:#fff
classDef evidence fill:#4ECDC4,stroke:#333,color:#000
classDef meta fill:#45B7D1,stroke:#333,color:#000
classDef store fill:#96CEB4,stroke:#333,color:#000
class A1,A2 task
class A3,A4,A5 evidence
class A6,B3 store
class B1,B4,B5,B2 meta
linkStyle default stroke:#764ba2,stroke-width:2px上图左边是 Harness² 的单任务循环,右边是 Dream-RSI 的元层循环。两边都有一层"把历史存下来复用"的结构,区别在于历史被当成经验库还是可执行的模拟器。
Harness²:在没有 verifier 的开放世界里改脚手架
它把 harness 拆成 8 个文件
论文沿用 AHE 的文件级拆法并加了一个组件,把执行 harness 拆成 8 个可编辑部分:system prompt、guardrails、memory、skills、tool guidance、scripts、subagents、middleware plugin。每个组件以文件形式挂进运行时。
这个拆法很关键:改 harness 不是"重写一段大 prompt",而是能定位到具体文件、能 diff、能只替换其中一个组件。agent 的自改进如果颗粒度是"整段 prompt",失败了你根本不知道是哪句话起了作用。
没有标准答案,就用对比当证据
开放世界任务的麻烦在于:任务在 harness 设计阶段没见过,测试时是新的,没有 ground-truth verifier。你改了一版 harness,跑出来一个交付物,没人能告诉你它比上一版好还是坏。
Harness² 的办法是把一次改进拆成 Propose–Probe–Compose 三步:
- Propose:先用当前 harness 跑一次,得到 reference execution(只揭示 harness 的行为,不代表任务正确)。然后基于任务、当前 harness、这次执行记录和历史,提出两个候选:一个改"跨领域通用的 agent 缺陷"(规划、工具使用、上下文管理、委派),一个改"当前领域的具体知识、流程和约束"。
- Probe:两个候选在同一个任务、同样的模型和环境配置下各跑一遍,和 reference 的执行轨迹、交付物对比,得到 behavioral contrast——改动是缓解了目标缺陷、没变化,还是引入了退化。
- Compose:读 reference、候选、候选相对当前 harness 的 diff 和所有执行证据,合成后继 harness。合成是选择性的:可以合并有支撑的改动、修掉冲突、只采纳一个候选,或者保留原样。
论文自己写了一句很坦诚的话:这些对比只用来指导合成,不用来验证任务正确性,因为执行本身有随机性,模型也有共享偏差。也就是说它提供的是"行为证据",不是"分数"。
这个设计比"让模型给自己打分"高明的地方在于:判断依据是同一任务上两次执行的可观察差异,而不是模型的自我评价。前者至少可复现,后者等于让考生自己判卷。
第二层递归:连"怎么改 harness"也要改
只有任务级递归的话,每个任务都要从同一个通用流程重新摸索。Harness² 加了第二层:
- 执行 harness(execution harness):当前任务被改的东西;
- 改进 harness(improvement harness):指导"怎么改"的那套东西,任务级递归期间固定;
- harness improvement library:每个任务结束后,把采纳的 harness 连同改进过程中的经验存进去,供后续任务的 Propose 和 Compose 复用。
这就构成了论文定义的递归:任务级递归改执行 harness,harnessing-level 递归用这些改动经验去更新改进 harness,后者再影响未来任务怎么被改。改的对象和改的机制都在变,这是它区别于 Meta-Harness(离线搜一个 harness 然后部署)的核心。
任务级递归有两种形态,都由预算 k 控制:并行递归一次提 k 个候选、做 k 次合成;串行递归则把上一轮细化的 harness 和执行证据带进下一轮。
数字与两个反直觉发现
实验覆盖三个专业领域基准:WorkBuddy-Bench(Code/Web/Office 办公交付)、JobBench(端到端长任务)、LAB(法律工作,按 Partial 逐条标准通过率算)。执行模型是冻结的 Gemini 3.5 Flash 和 GLM-5,跑在 OpenCode 和 Codex 两个现成 harness 上,共四种组合;改 harness 的编辑器是 Claude Opus 4.8。
| 配置 | 原始 harness | Harness² 单步 | 再加 k=5 并行递归 |
|---|---|---|---|
| GLM-5 / OpenCode / WorkBuddy 均分 | 64.2 | 75.7(+11.5) | +3.9 |
| Gemini 3.5 Flash / OpenCode / WorkBuddy 均分 | 72.4 | 77.5(+5.1) | +3.3 |
| Gemini 3.5 Flash / OpenCode / JobBench | 31.5 | 36.0(+4.5) | +3.0 |
| GLM-5 / OpenCode / LAB Partial | 59.6 | 71.4(+11.8) | +6.7 |
单步就能在四种配置上全部为正,这个一致性比单个最高分更有说服力。两个反直觉的点:
第一,弱模型配好 harness 能反超强模型的原配。 WorkBuddy-Bench 上 GLM-5 用 OpenCode 从 64.2 提到 75.7,超过 Gemini 3.5 Flash 原始 harness 的 72.4。JobBench 上则是 Gemini 增益更大(+4.5 对 +3.6),说明"谁受益更多"跟基准有关,不是一条普遍规律。论文的原话是弱执行器在 WorkBuddy 和 LAB 上收益更大,在 JobBench 上相反。
第二,对照组不是摆设。 ReasoningBank(只检索历史策略塞进上下文、不动 harness)在 coding 任务上最多比 base 低 6.6 分;Harness Scaling(每个实例多花推理预算改 harness、但不跨实例积累)在 12 个基准-配置组合里有 7 个不如 base。这两个结果说明"把经验塞进 prompt"和"每次临时改一版"都不等于递归改进。唯一在某个格子反超的是 Meta-Harness:LAB 的 Gemini + Codex 配置上它领先,因为它是拿独立训练集离线搜出来的,而 Harness² 是从零开始在任务流上在线改。
还有一组值得注意的副指标:改 harness 之后执行步数经常显著下降。Gemini 在 WorkBuddy Code 域从 29.6 步降到 22.8 步,GLM-5 从 19.2 降到 14.8。分数涨、步数降,说明改动改的是工作方式,不只是让模型多试几次。
它的边界
- 改 harness 的人也是模型。 默认编辑器是 Claude Opus 4.8 跑在 OpenCode 里,改进质量受这个 agent 的能力上限约束。论文没有报告"换一个更弱的编辑器会怎样"。
- 对比证据可能被随机性误导。 论文承认执行有随机性、模型有共享偏差,所以它刻意不做"哪个候选更好"的判定,只做合成。代价是单步提升有方差,表格里标准差不少在 2-4 分区间。
- library 会膨胀。 当前只是一个简单索引库,论文把"合并重叠组件、淘汰过时经验、按任务检索"列进未来工作——也就是说现在还没有成熟的库管理。
- 递归预算靠人定。 并行还是串行、
k取多少,都是预先指定,没有根据任务难度自适应分配。
Dream-RSI:把发现历史当世界模型来"做梦"
问题不同:元层反馈又慢又贵
Dream-RSI 的场景是长周期发现——写 kernel、搜数学构造、改进算法实现。这类任务里,探索策略决定探哪条分支、并行几个候选、什么时候停。策略固定不变,会在搜索空间变大后失效;在线改策略,又要跑完整轮才发现好不好。
论文的比喻借自 model-based RL:一个 agent 第一次走进陌生环境会绕路、撞墙、回头,但这个过程画出了一张地图。地图可以复用——新策略可以在地图上规划,跳过已知死路,比较路线,而不必再走一遍。Dream-RSI 就是把"已完成发现过程留下的树"当成这张地图。
这里有个概念要先立住:发现树。根节点是初始工作区,每个非根节点是一次发现尝试,它只有一个主父节点,从父节点继承工作区快照和累积观察,自己再存文件快照和评分。叶子加上根构成可继续探索的集合。探索策略的动作是一个批次:从可选节点里选至多 W 个(W 是并行 worker 数),既决定往哪探,也决定并行度。
在线 rollout,离线做梦
整个循环三步:
- 在线探索:当前策略驱动固定的发现 agent 展开一棵发现树,每次尝试由固定评估器打分,整棵树连同执行记录入库。
- 构建回放模拟器:历史树变成一个"世界池"。新策略在这棵树上走,只会经过已经记录过的分支和结果,选择不同的顺序、不同的并行分组、不同的停止点。
- 做梦式策略改进:固定 agent 改写策略代码,每个候选版本在所有历史世界上、用一组预算偏好 ρ(0、0.25、0.5、0.75、1)回放打分,选出平均分最高的版本重新上线,再产生新的历史。
关键在"回放"这一步的语义:动作之后的状态转移不是重新生成候选,而是返回记录里已有的子节点。所以评估一个新策略只需要读存档,不需要再调用一次发现 agent 或评估器。一次昂贵的在线运行,换来对大量替代策略的廉价评估。
回放目标函数:Pareto 面积减并行惩罚
策略不是只看"最终分多高",而是在质量-成本曲线上比较。论文为每个回放世界构造一条非支配点曲线(调用次数 vs 归一化质量),目标函数第一项是归一化 hypervolume:曲线下的面积,奖励"用更少调用拿到更高质量"。第二项是并行惩罚:平均每个调用占用的顺序轮数,惩罚那些把并行的活干成串行的策略。两项加权成 V_i^m,策略版本按所有历史世界的平均分选。
这套目标函数解释了它在 kernel 任务上的行为:不是单纯追分数,而是在"每多一次 agent 调用值不值"这条线上做取舍。
四个域、九个任务上的数字
论文在四个域各做了实验:kernel 工程(KernelBench 的 VGG16、LayerNorm、ConvDiv、ConvMax)、数学优化(Sum-Diff、Circle Packing、Autocorrelation)、算法工程(Lasso 正则化路径)、harness 优化(Terminal-Bench 2.1)。科学发现任务主用 Gemini-3.1-Pro,Lasso 另加 Gemini-3.7-Flash;harness 优化用 Claude Opus 4.8 + Claude Code。
| 任务 | 结果 |
|---|---|
| VGG16 / LayerNorm | 达到相当性能,发现调用分别少 2.43× / 1.79× |
| ConvDiv / ConvMax | 同预算下性能高 2.09× / 1.44× |
| Sum-Diff | 1.145427,高于固定策略 1.144047,也高于 SimpleTES |
| Circle Packing | 2.635983,与报告的最强结果持平 |
| Autocorrelation | 1.456375,与现有系统竞争(越低越好) |
| Lasso 路径(3.1-Pro) | 六个留出数据集平均 3587.1 ms → 2931.0 ms,调用 550 → 317 |
| Lasso 路径(3.7-Flash) | 2516.7 ms → 2350.6 ms,调用 3200 → 1879 |
| Terminal-Bench 2.1 | 种子 harness 0.7247 → 0.8090,超过 Claude Code 0.75 和 Meta-Harness 0.79 |
Lasso 那组还对比了 SimpleTES 报告的 51,200 次生成,但双方用的 backbone 不同(SimpleTES 是 gpt-oss-120b),论文自己标注了这一点。这类跨模型、跨协议的倍数不能当严格同口径结论看,162× 这种数字只能当量级参考。
两个反直觉发现
第一,把历史抽象成"方向性建议"塞进 prompt,反而更差。 一个自然的替代方案是让模型总结历史、生成高层指引,注入下一轮 prompt。论文在 ConvDiv 上同时给固定策略和 Dream-RSI 加了这种语义指导,两者最终性能都下降。它的解释是:显式方向约束了探索。回放历史比概括历史更有用——因为回放保留了"当时为什么选这条路"的决策结构,而概括把它压成了一句结论。
第二,全历史比只用当前轮的树更好。 ConvDiv 上,用全部历史回放得分 1.90(786 次调用),只用当前轮是 1.59(430 次),每单位调用的收益差得更明显。论文的解释是:只用一棵树容易过拟合到那个世界,策略会变得过度保守。
还有一个行为观察:学出来的策略会自己调节探索强度——性能在涨时把每轮尝试数从 110 降到 50,涨势停滞后再加回来,随后又出现新的性能跃升。
它的边界
- 回放只能评估"记录里有的路"。 策略如果在历史上从未出现过的新分支上才能表现更好,模拟器给不出信号。这是所有 replay 方法的共同限制,论文没有回避但也没有量化。
- 策略是代码,不是权重。 改的是探索策略的可执行代码,发现 agent 本身不变。所以它提高的是"怎么花预算",不是"怎么写出更好的候选"。
- 没有 limitations 章节。 我通读了 HTML 全文,第 5 节是进一步分析,第 7 节直接进结论,没有单列失败案例或适用边界。这在预印本里常见,但读者要自己留出折扣。
- 成本不低。 在线 rollout 仍然是真实的发现 agent 调用,Lasso 的 317 次和 1879 次是"省下来的量",不是零成本;harness 优化那组论文提到,加一次完整的固定策略对照搜索估计超过 10 万美元,所以直接省掉了这个对照。
放在一起看:三层递归各自的地盘
| 维度 | Harness² | Dream-RSI |
|---|---|---|
| 改什么 | 执行 harness 的 8 个组件文件 + 改进 harness | 探索策略的可执行代码 |
| 反馈从哪来 | 同一任务上的 reference/候选行为对比 | 历史发现树上的确定性回放 |
| 递归层 | 任务级 + harnessing 级(两层) | 在线探索 + 离线做梦(一个元层循环) |
| 谁验证 | 没有 ground truth,靠行为差异 + 合成判断 | 固定评估器打的分,在历史世界里重放 |
| 主要战场 | 办公、法律、端到端专业任务 | kernel、数学优化、算法发现、harness 优化 |
| 报告的成本 | 每任务多轮 harness 执行,编辑器是 Opus 4.8 | 发现调用次数;对照实验因超 10 万美元被砍 |
| 最大风险 | 对比证据被随机性误导 | 回放覆盖不到历史外的新分支 |
有意思的是两篇在同一个点上交汇:都反对"把历史压成一段文本塞进上下文"。Harness² 把经验存成可复用的 harness 文件和库,Dream-RSI 把历史存成可执行回放的树。一个用结构复用,一个用决策复用,都不信任"模型自己总结的经验"。
对做 Agent 的人意味着什么
如果只看可迁移的部分,我觉得有三条。
第一,自改进的颗粒度决定可诊断性。 Harness² 把 harness 拆成 8 个文件才有办法"提出一个 invariant 候选、一个 domain 候选"并对比。你如果只有一个大 prompt,改进只能整体重写,失败时无法归因。做 Agent 产品时,把 prompt、工具说明、脚本、子 agent 分开管理,不只是工程整洁问题,是自改进的前提。
第二,没有 verifier 时,比较两次执行比让模型自评可靠。 Propose–Probe–Compose 的核心不是"让模型改",而是"改完必须在同一任务上跑一遍、和参考执行对比"。这个模式在缺少测试的任务上很实用——代价是你得愿意为每个任务多花两三次执行。相比"模型说它变好了",这是唯一有外部证据的做法。
第三,历史的价值取决于它的结构,不是它的长度。 Dream-RSI 最反直觉的结果是显式总结历史反而拖累性能。如果你的 agent 现在只是把过去几轮对话拼进 prompt,那么加长历史很可能不会变强;把历史存成可回放、可比较的决策树,才有可能变成策略改进的信号。这条对做 memory 系统的团队尤其值得注意。
两篇都还是预印本,代码和复现结果需要自己跑一遍才算数(Harness² 在 google-research/harness2,Dream-RSI 在 zhengkid/Dream-RSI)。但方向上它们指得很清楚:RSI 的下一段竞争,可能不在谁的模型更强,而在谁的脚手架和探索策略更会改自己。
参考资料
- Harness²: Recursive Agent Harnessing for an Open World — Google Cloud AI Research + Northwestern,2026-10-09,cs.AI
- Harness² HTML 全文 — 第 2 节方法、第 3 节实验、附录 G 未来工作
- Dream-RSI: Recursive Self-Improvement through Evolving Worlds — 2026-09-14,cs.CL
- Dream-RSI HTML 全文 — 第 3 节方法、第 4 节实验、第 5 节分析
- google-research/harness2 — 论文给出的代码仓库
- zhengkid/Dream-RSI — 论文给出的代码仓库
你在做 Agent 时有没有遇到过"改完不知道变好还是变坏"的情况?是加了测试,还是靠人肉看轨迹?评论区聊聊。觉得有用点个赞。
作者: itech001
来源: 公众号:AI人工智能时代(the-ai-era)
网站: https://www.theaiera.top/
关注每日最新AI新闻和技术博客,主页有更多的文章的AI 技术参考:https://www.theaiera.top
本文首发于 AI人工智能时代,转载请注明出处。