FrontierHarness v1.1:21 组 Harness 跑平同行,跑不赢 100 行基线
2026 年 11 月 10 日到 14 日,Runta 把 21 组 agent harness 塞进同一台仪器:5 个模型、62 道题、每题每组配置 4 次尝试。五天跑完 26,040 次运行,账单 17,842 美元。
这是 FrontierHarness 的第二版。9 月 1 日那一版只有 12 组配置、30 道题、一个模型 Kimi K3,当时最刺眼的数字是成本:同样是 63% 左右的通过率,Claude Code 每次通过花 18.34 美元,DSH Creator 只要 3.25 美元,5.6 倍。那一版结尾自己留了个问题——这差距到底是 harness 的,还是模型和网关的。
v1.1 就是来回答这个问题的。模型从 1 个加到 5 个,题从 30 道加到 62 道,每组配置的重复从 1 次加到 4 次,让格子和格子之间终于可比。
我把榜单背后 26,040 条运行记录全部导出来重算了一遍。三个结论比排行榜本身有意思:
- 21 组配置里,20 组与一条百来行的参考实现没有统计差别,只有三组显著更差,没有任何一组显著更好。
- 换模型的杠杆是换 harness 的四倍:模型之间的成本差 7 倍,harness 之间只有 1.7 倍。
- 64% 的预算花在没通过的运行上,其中 11.3% 的运行是跑到超时为止。
本文提纲
- 这台仪器:62 道题、5 个模型、每组题 4 次
- 榜首 62.3%,但名次是抽签
- 模型才是更大的旋钮:旗舰输给自家 Flash
- 64% 的预算花在没通过的运行上
- 同一格跑四次,30.6% 时对时错
- 21×5 矩阵:每个模型都有自己的主场
- 这台仪器测不到的六件事
这台仪器:62 道题、5 个模型、每组题 4 次
先说清楚测的到底是什么。harness 是模型之外的一切:工具集、系统提示、控制循环、上下文压缩策略、重试与终止条件、沙箱权限。同一个模型换一层壳,能解的任务数、烧的 token、墙上时间都会变,这也是这类横评存在的理由。
62 道题由两部分组成。45 道是 Terminal-Bench 2.1 的原题,比如 fix-git、log-summary-date-ranges、polyglot-c-py,偏软件工程和终端操作。另外 17 道是这轮新加的难题池,数据里标记为 tb4,覆盖硬件、机器学习、媒体、运维、科学计算、安全和系统:vpp-loss-divergence(电压暂降的波形拟合)、glycan-ms2-elucidation(糖链质谱解析)、ontology-kg-querying(本体知识图谱查询)、cargo-flight-dispatch、mvcc-lsm-compaction、wal-recovery-ordering、freecad-impeller、music-harmony。这 17 道题是整场评测的预算黑洞,后面单独讲。
21 组配置的名单值得列一遍,因为"harness"这个词在这个榜上比很多人想的更杂:
- 主流商用 agent:Claude Code 2.1.308、Codex CLI 0.164.0、GitHub Copilot CLI、Antigravity CLI、OpenCode 1.19.4、Cline CLI、Grok Build、KimiCode、MiniMax Code、Alma、Maka、Pi、Oh My Pi、Hermes Agent 0.22.5、ZCode、Exo
- 同一家里的四个模式:DeepSeek Harness 的 Standard、Minimal、Creator、Code(PTC)
- 一条故意粗糙的参考实现:mini-SWE-agent 2.4.6,bash 单工具、几乎只有主循环,社区里都叫它"100 行 agent"
五个模型全部从 Baseten 一个网关出:GLM-5.3 和 GLM-5.3-Flash(Z.ai)、DeepSeek-V4.1-Flash-1017、Muse Spark Open、Kimi-K3。上一版特意用 Kimi K3 来避免任何 harness 的主场优势,这一版反过来把三个厂商自己的模型都放进来了,主场效应于是成了变量之一。
判定口径很硬:每条轨迹交给任务自带的 verifier,通过记 1,答错或超时记 0,基础设施故障(沙箱起不来、网关 5xx)不计入分母,单独统计。成本按 Harbor 记录的 token 用量乘 models.dev 的公开价目算,沙箱租金单列。4 次尝试意味着一个格子(某 harness 某模型某任务)有 4 条独立轨迹,格子通过率就是 4 次里通过的比例。
flowchart LR
A["62 pinned tasks
golden checkpoint"]:::red --> B["Fresh sandbox
cold start each try"]:::teal
B --> C["21 harnesses
x 5 models"]:::blue
C --> D["4 scored attempts
per task and model"]:::green
D --> E["Verifier only
pass or fail"]:::yellow
E --> F["Token ledger
Harbor metering"]:::plum
E --> G["Infra failures
excluded, tracked"]:::mint
F --> H["Cost at list price
models.dev"]:::red
H --> I["Leaderboard
pass rate, cost, time"]:::teal
classDef red fill:#FF6B6B,color:#000000
classDef teal fill:#4ECDC4,color:#000000
classDef blue fill:#45B7D1,color:#000000
classDef green fill:#96CEB4,color:#000000
classDef yellow fill:#FFEAA7,color:#000000
classDef plum fill:#DDA0DD,color:#000000
classDef mint fill:#98D8C8,color:#000000
linkStyle default stroke:#764ba2,stroke-width:2px两版之间的差别,一张表就够:
| v1.0(9 月 1 日) | v1.1(11 月 10–14 日) | |
|---|---|---|
| 配置数 | 12 | 21 |
| 模型 | Kimi-K3 | 5 个(GLM-5.3 / Flash、DeepSeek-V4.1-Flash、Muse Spark、Kimi-K3) |
| 任务 | 30 | 62(45 道 TB2.1 + 17 道难题池) |
| 每题重复 | 1 次 | 4 次 |
| 总运行 | 360 | 26,040 |
| 通过率区间 | 50.0%–66.7% | 51.5%–62.3% |
| 每通过成本 | $1.05–$18.34(17.5 倍) | $0.92–$1.58(1.7 倍) |
注意最后两行:配置数翻倍、模型从 1 个变 5 个,成本差反而从 17.5 倍压到 1.7 倍。这不是 harness 们突然变乖了,而是上一版的 17.5 倍本身就是"Claude Code × Kimi K3 × 单网关"这一个组合的极端值,被单模型设计放大成了普遍结论。
榜首 62.3%,但名次是抽签
21 组配置按通过率排序,每题 4 次共 1,240 次尝试,成本按"总花费 / 通过次数"算(这个口径把失败的钱也摊进去了,比"单次成功的中位成本"更接近真实账本):
| Harness | 通过率 | 每通过成本 | 中位耗时 | 超时占比 |
|---|---|---|---|---|
| Hermes Agent | 62.3% | $1.09 | 20.4 min | 9.9% |
| ZCode | 62.1% | $1.05 | 18.6 min | 9.2% |
| Codex CLI | 61.6% | $0.93 | 19.2 min | 7.2% |
| Oh My Pi | 60.4% | $0.92 | 19.6 min | 9.4% |
| KimiCode | 60.4% | $1.07 | 19.1 min | 10.0% |
| Grok Build | 60.4% | $1.18 | 20.9 min | 10.9% |
| Alma | 59.8% | $1.20 | 18.4 min | 9.5% |
| mini-SWE-agent | 59.4% | $1.25 | 21.2 min | 12.4% |
| Claude Code | 59.3% | $1.53 | 23.6 min | 14.2% |
| Cline CLI | 58.5% | $1.15 | 21.0 min | 10.9% |
| Pi | 58.2% | $0.95 | 19.4 min | 11.9% |
| Maka | 58.2% | $1.12 | 20.1 min | 10.6% |
| OpenCode | 58.0% | $1.09 | 20.9 min | 10.5% |
| DSH: Minimal | 57.7% | $1.12 | 21.9 min | 12.1% |
| GitHub Copilot CLI | 57.1% | $1.33 | 22.1 min | 12.3% |
| MiniMax Code | 57.0% | $1.11 | 20.4 min | 10.2% |
| DSH: Creator | 56.1% | $1.24 | 22.9 min | 12.8% |
| DSH: Standard | 55.5% | $1.20 | 22.8 min | 12.5% |
| DSH: Code | 55.4% | $1.31 | 22.9 min | 13.3% |
| Antigravity CLI | 55.3% | $1.58 | 22.1 min | 11.7% |
| Exo | 51.5% | $1.33 | 21.9 min | 16.3% |
榜首和榜尾差 10.8 个百分点,看着像一条清晰的梯度。但这条梯度经不起统计学。
单看一组配置的 1,240 次尝试,标准误是 ±1.4 个点,95% 区间 ±2.7 个点。这已经是最乐观的算法——同一道题的 4 次重复高度相关,把每次尝试当独立样本会低估误差。按"模型 × 任务"的格子当簇算(每组 310 个格子),95% 区间直接涨到 ±4.7 个点,两组之间要差到 7 个点左右才勉强站得住。
照这条线,榜上只有 Hermes 与榜尾的 DSH: Code、Antigravity、Exo 三组勉强算分出胜负;剩下 17 组两两之间都跨不过这条线,62.1% 和 55.5% 的差距,一半来自抽题运气和模型配对,剩下的才是 harness。
和参考实现比更直接。以 mini-SWE-agent 的 59.4% 为基线,对五个模型做配对后我算了 21 组的两比例 z 检验:
- 显著更好:0 组。 最好的 Hermes 是 +3.0 个点(z≈1.4),ZCode +2.7、Codex +2.3,都落在噪声里。
- 显著更差:3 组。 DSH: Code(−4.0,z≈−1.99)、Antigravity CLI(−4.0,z≈−2.03)、Exo(−7.8,z≈−3.93)。
- 其余 17 组与基线无差别。 20 组的平均增益是 −1.2 个点,中位数 −1.1 个点。
这个结果说明的不是"手机壳厂商做的东西没用",而是:在最基础的 bash 循环上再加系统提示、工具 schema、规划和压缩,于这一类任务上已经换不来可测的能力提升。 能稳定拿走的只有扣分:Exo 那 −7.8 个点,足够让一个季度的工作白干。
更有意思的是按模型拆开看,包装器的收益强烈依赖它配的是谁:
| 模型 | 基线通过率 | 比基线好的配置数 | 最好 / 最差增益 |
|---|---|---|---|
| GLM-5.3 | 54.4% | 12 / 20 | +5.3(Hermes)/ −6.0(DSH Code) |
| GLM-5.3-Flash | 56.0% | 12 / 20 | +7.7(Hermes)/ −3.6(Exo) |
| DeepSeek-V4.1-Flash | 66.9% | 4 / 20 | +2.4(Codex)/ −12.5(Exo) |
| Muse Spark Open | 54.4% | 10 / 20 | +10.1(Oh My Pi)/ −4.4(DSH Standard) |
| Kimi-K3 | 64.9% | 0 / 20 | −0.8(ZCode)/ −21.4(Exo) |
最后一行是这一版最有信息量的数据:在 Kimi-K3 上,20 组包装器全部打不过那条 100 行基线,最接近的 ZCode 也差 0.8 个点。而在 GLM 上,同一个 Hermes 能加 5–8 个点。同一层壳,换模型,符号翻转。
模型才是更大的旋钮:旗舰输给自家 Flash
把 21 组按模型聚合,每个模型的 21 组配置平均一下,得到五个模型的"净能力"和"净单价":
| 模型 | 通过率 | 每通过成本 | 超时占比 |
|---|---|---|---|
| DeepSeek-V4.1-Flash-1017 | 64.0% | $0.27 | 8.2% |
| Kimi-K3 | 59.7% | $1.88 | 5.7% |
| GLM-5.3-Flash | 57.2% | $0.33 | 15.2% |
| Muse Spark Open | 55.5% | $1.78 | 8.4% |
| GLM-5.3 | 55.2% | $1.73 | 19.1% |
三件事值得逐条说。
单价差 7 倍。 最便宜的 DeepSeek-V4.1-Flash 每通过一次 0.27 美元,最贵的 Kimi-K3 要 1.88 美元。能力只差 4.3 个点。也就是说,为了让通过率从 64.0% 挪到 59.7%(其实是往下挪),预算要多花 6 倍。harness 那一层的价差只有 1.7 倍,从 Oh My Pi 的 0.92 到 Antigravity 的 1.58。先挑模型,再挑壳,顺序反过来就是把钱花在最没杠杆的地方。
旗舰打不过自家的 Flash。 GLM-5.3 通过率 55.2%,每通过 1.73 美元;GLM-5.3-Flash 通过率 57.2%,每通过 0.33 美元。Flash 版本贵了 5.2 倍的反向——便宜 5.2 倍,通过率还高 2 个点。2 个点在噪声里,5 倍的价差不在。这大概是整份榜单最实用的一条:旗舰模型的溢价,在这类多轮工具调用的任务上没换成能力。
"能力差"里有一半是"没跑完"。 超时占比从 Kimi 的 5.7% 到 GLM-5.3 的 19.1%,差了三倍多。光这一项就能解释 GLM-5.3 为什么看起来又慢又贵:它的失败里 43% 是跑到超时,而 Kimi-K3 只有 14%。Muse Spark 和 DeepSeek 的失败里,超时分别占 19% 和 23%,属于正常损耗。
64% 的预算花在没通过的运行上
17,842 美元里,沙箱租金 3,204 美元(18%),模型调用 14,638 美元(82%)。按结果拆:
- 通过的 15,183 次运行:6,424 美元,36.0%
- 答错的 7,910 次运行:9,296 美元,52.1%
- 超时的 2,947 次运行:2,122 美元,11.9%
换句话说,每 1 美元里有 64 美分是在给失败买单。这跟直觉相反:真正通过的那 15,183 次运行,平均只花 0.42 美元(中位 0.17),摊到"每产出一次通过"就变成 1.18 美元,中间 2.8 倍的差价就是失败税——账不是被成功的那一次推高的,是被失败的那 11,000 次推高的。
失败税的分布极度不均。62 道题里,17 道 tb4 难题吃掉了 27.4% 的运行和 55% 的预算,通过率 16.8%;45 道 TB2.1 吃掉 45% 的预算,通过率 74.0%。tb4 的单次尝试成本是 1.36 美元,TB2.1 只有 0.43 美元——难题不只难在结果上,也难在过程上。
更极端的在长尾:
bun-sourcemap-leak、glycan-ms2-elucidation、ontology-kg-querying三道题各 420 次尝试、合计 1,260 次,一次没通过,烧掉 1,693 美元。- 通过率低于 10% 的 11 道题,占 27% 的预算,只贡献 1% 出头的通过。
- 单题
vpp-loss-divergence一道就花了 2,097 美元,占全场预算的 11.8%,通过率 34%。
这不是评测的缺陷,是生产环境的真实形状:agent 的账单从来不是被平均任务推高的,是被几道它根本做不完的题推高的。 一个能识别"这题我做不完"并提前止损的 harness,省下来的钱比任何一项调优都多。Runta 自己卖的就是这层执行时的控制,这份数据对它是最有力的广告。
同一格跑四次,30.6% 时对时错
4 次重复的设计,在这份数据里暴露出一个排行榜不会告诉你的事。
6,510 个格子(21 harness × 5 模型 × 62 题)里:
- 42.2% 四次全过(2,748 个)
- 27.2% 四次全灭(1,770 个)
- 30.6% 时对时错(1,992 个),其中 608 个是四次里只对一次
接近三分之一的格子,答案是"看运气"。分到每组配置,全过率从 Exo 的 34.5% 到 ZCode 的 46.8%,摇摆率从 Grok Build 的 26.8% 到 Exo 的 34.2%。Exo 是全榜最不稳的一组:全灭率 31.3%,摇摆率 34.2%,两项都垫底。
这件事的推论很直接:"62.3%" 不是这层壳的能力上限,是 4 次里平均通过 2.5 次。 一次通过的题,第二次不保证还过。任何只跑一遍的横评,无论是评测机构做的还是你自己在 CI 里做的,跑出来的数字都在噪声里游泳;官方这轮用 4 次已经算克制,但榜单页面只给均值不给方差,读者没法判断"62.3% 里有多少是稳的"。这是这份榜单最该补的一块。
21×5 矩阵:每个模型都有自己的主场
把 21×5 的矩阵摊开,总榜的名次立刻散架:
| Harness | GLM-5.3 | GLM-5.3-F | DS-V4.1-F | Muse Spark | Kimi-K3 |
|---|---|---|---|---|---|
| Hermes Agent | 59.7% | 63.7% | 64.5% | 62.9% | 60.9% |
| ZCode | 58.9% | 60.9% | 69.0% | 57.7% | 64.1% |
| Codex CLI | 58.1% | 59.3% | 69.4% | 57.7% | 63.7% |
| Oh My Pi | 57.7% | 59.3% | 62.9% | 64.5% | 57.7% |
| KimiCode | 58.5% | 60.1% | 66.9% | 56.5% | 60.1% |
| Grok Build | 56.5% | 55.6% | 68.1% | 59.7% | 62.1% |
| Alma | 56.5% | 58.9% | 62.9% | 56.9% | 64.1% |
| mini-SWE-agent | 54.4% | 56.0% | 66.9% | 54.4% | 64.9% |
| Claude Code | 54.8% | 57.3% | 69.0% | 53.2% | 62.1% |
| Cline CLI | 53.2% | 56.5% | 66.5% | 55.6% | 60.9% |
| Pi | 56.5% | 58.1% | 63.7% | 52.0% | 60.9% |
| Maka | 57.7% | 57.3% | 60.5% | 54.0% | 61.7% |
| OpenCode | 54.0% | 56.9% | 63.3% | 54.4% | 61.3% |
| DSH: Minimal | 55.6% | 55.2% | 64.9% | 53.6% | 59.3% |
| Copilot CLI | 54.8% | 59.3% | 58.9% | 54.4% | 58.1% |
| MiniMax Code | 51.2% | 55.2% | 60.1% | 56.0% | 62.5% |
| DSH: Creator | 51.6% | 54.0% | 64.9% | 52.4% | 57.7% |
| DSH: Standard | 54.0% | 54.8% | 64.1% | 50.0% | 54.4% |
| DSH: Code | 48.4% | 54.8% | 64.5% | 53.2% | 56.0% |
| Antigravity CLI | 54.4% | 55.6% | 58.9% | 50.8% | 56.9% |
| Exo | 52.0% | 52.4% | 54.4% | 55.2% | 43.5% |
每个模型内部,最好与最差配置之间的差距是 11.3 到 21.4 个点,比总榜 10.8 点的区间还大。而每个模型的最佳拍档都不一样:
- GLM-5.3 / GLM-5.3-Flash → Hermes Agent(59.7% / 63.7%),对基线的增益 +5.2 / +7.7
- DeepSeek-V4.1-Flash → Codex CLI(69.4%),ZCode 和 Claude Code 各 69.0% 紧随
- Muse Spark Open → Oh My Pi(64.5%),最差配置只有 50.0%,同一模型上差 14.5 个点
- Kimi-K3 → mini-SWE-agent(64.9%),唯一一个原厂之外的裸实现夺冠的模型
Kimi 这一列值得单独看,因为它是唯一一个"所有包装器都不如裸实现"的模型。KimiCode 是 Moonshot 自家做的壳,56.5%–60.1%,比基线低 5 个点左右;ZCode 最接近,−0.8。合理解释是:Kimi-K3 的训练分布里,终端任务的解法已经被写进了模型权重,外挂的系统提示和工具 schema 只是在跟它抢方向盘;而 GLM-5.3 这类模型更依赖壳给的脚手架。
这也给出了实用建议的形状:别抄总榜,抄自己那一列。 如果按总榜选 Hermes,配 DeepSeek 只能拿到 64.5%,输给 Codex 的 69.4%;而 Codex 配 GLM 只有 58.1%,还不如一条基线。生产上最省事也最便宜的验证方案,用这份公开任务集就能做:
- 62 道题 × 1 个模型 × 3 次尝试 = 186 次运行。按 DeepSeek-V4.1-Flash 这次的平均单次成本 0.18 美元算,约 33 美元,20 并发下三小时跑完。
- 时间紧就抽 20 道题 × 2 次 = 40 次,6 美元左右,够把"我的壳配我的模型"这件事的方向定下来。
- 判据别用绝对通过率,用"同一模型下,换了壳之后 4 个格子里有几个从全灭变全过"——这个指标对噪声不敏感。
这台仪器测不到的六件事
任何横评的边界都在读法里,这六条决定了你能拿这份数据做什么决定。
一、所有 harness 都按出厂默认配置跑。 榜单不调 temperature、不改压缩阈值、不换规划模板,也不给每组配置量身定制提示词。它是"开箱即用"的横评,不是"调优后"的。Codex 那一栏的 61.6% 代表 config.toml 默认值下的 Codex,不代表你花两周调过的 Codex。
二、只有一个网关。 五个模型全部走 Baseten,缓存、prompt 重写、计费倍率都在那一层,看不见也摸不着。v1.0 里 Claude Code 那 5.6 倍的结论被官方自己标注为"可能是 harness、模型和网关的交互",v1.1 也没拆开。跨网关的结论,这份数据给不了。
三、没有预算、重试和放弃策略。 每组配置只有 4 次机会,agent 自己不会算账,不会在半路发现"这题不值得继续"就止损。真实生产里最值钱的那部分 harness 能力(预算感知、提前终止、分级重试),这份榜单一点没测。
四、tb4 只有 17 道题。 每题每模型 420 次尝试,单题通过率的 95% 区间约 ±4.5 个点。用这 17 道题判断"这个模型处理科学计算题行不行",样本太薄,只能当趋势看。
五、赞助方是 Runta、Baseten 和 Z.ai。 评测方是 Runta 自己,模型网关是 Baseten,GLM 来自 Z.ai,这三家在榜单里各自有位置:Runta 的 Exo 和自己的执行层、Baseten 的网关、Z.ai 的两个 GLM。可信度靠的是另一条:任务定义、运行记录和判分逻辑全部公开在 GitHub,26,040 条记录可以逐条重算——本文所有派生数字都是这么来的。数据可复核,比"中立"更管用。
六、跨版本成本不能直接比。 v1.0 的缓存命中在 70%–85%,v1.1 五组模型全部落在 48% 左右;同期每通过成本却从 1.05–18.34 美元掉到 0.92–1.58 美元。缓存命中腰斩、成本反而降了一个量级,说明两版的计量或计费口径动过(缓存折价、judge 成本是否计入、沙箱租金怎么摊),官方没解释。把 $18.34 和 $1.53 放一起讲"Claude Code 便宜了 12 倍",是一个看起来很像结论的错误。
参考文档与链接
- FrontierHarness Eval 榜单 — 21 组 Harness × 5 模型的实时排行榜
- 方法论说明 — 62 题、4 次重复、verifier-only、infra 剔除的官方口径
- 效率视图 — 每通过成本的拆分口径
- v1.0 原始文章 — 12 组配置、30 题、Kimi-K3 单模型那一轮
- 评测代码与任务定义 — 任务、判分、运行记录的公开仓库
- Runta 官方仓库 — Exo Harness 等执行层组件
- mini-SWE-agent — 榜上那条"100 行基线"
- Terminal-Bench — 45 道题的来源
- models.dev — 成本换算用的公开价目
- Exo Harness 发布说明 — 榜尾那组配置的设计意图
如果你的 agent 账单一半花在失败上,你会先换模型还是先换壳?我们自己跑那 186 次的时候,最反直觉的一条是"旗舰输给自家 Flash"。评论区说说你踩过的坑,或者把你自己的 harness×模型小矩阵贴出来。觉得有用就点个赞。
作者: itech001
来源: 公众号:AI人工智能时代(the-ai-era)
网站: https://www.theaiera.top/
关注每日最新AI新闻和技术博客,主页有更多的文章的AI 技术参考:https://www.theaiera.top
本文首发于 AI人工智能时代,转载请注明出处。