返回博客列表

Claude Code 团队怎么做 code review:七层检查与收敛教训

2026-11-17T13:00:00+08:00
Claude CodeAnthropicCode ReviewAI Agent工程实践

Claude Code 团队怎么做 code review:七层检查与收敛教训

当 90% 的代码由 Agent 写出来,review 的瓶颈就从"读代码"变成了"人的注意力"。Anthropic 把这件事拆成了七层。

claude.dev 博客 10 月 15 日发了一篇长文《How the Claude Code team does code review》,Addy Osmani、Morgan Westlee Lunt、Qing Wang 三人署名。背景数字先摆出来:Claude Code 约 90% 的代码由 Claude 写;今年 6 月到 9 月,这个仓库合并的 PR 数量翻了一倍多,revert 比例反而降了 40% 以上;Anthropic 的 monorepo 每天落地的变更从 5 月的约 2,500 个涨到 9 月的 30,000 以上(出处是他们的 source control 重设计一文)。

这套流程能撑住这个量级,靠的是把 review 从"终点的一道门"改成"贯穿全程的七层检查",再拿真实事故当评测集去持续打磨机器评审。上一篇我们翻译过他们的验证文章,这篇是它的前作,讲的就是这套流程的完整版。按四件套走:是什么、怎么用、值得学什么、同类怎么选。

本文提纲

  1. 是什么:review 的两个职责,和"人读过"这个伪指标
  2. 怎么用:七层流水线逐层拆,附采纳清单
  3. 值得学什么:事故即 eval、按反应量噪声、收敛性设计、换种方式传上下文
  4. 同类比较:传统流程、AI review 产品、自建怎么选

是什么:review 的两个职责,和"人读过"这个伪指标

原文开篇先把 code review 的职责说清楚:一是在上线前发现问题,二是把代码库的理解传给团队。这篇主要讲第一个,第二个在文末单独回应。

他们真正推翻的是一个默认假设。"有没有人读过这段代码"是"这个变更会出什么问题、该用哪道检查(自动的或人工的)去拦"的一个粗糙代理指标。一旦换成后者来思考,review 的时机也变了:它从终点关卡变成类似写作时的拼写检查,多数变更在被人工看之前,已经被 Claude 审过并修过至少一轮。

资源账也算得很清楚。人的时间覆盖 review 成本的两头:花在审查上的时间,和花在修烂代码上的时间,只砍前者没有意义,时间会从一头挪到另一头。所以他们的目标是:Claude Code 各仓库(CLI、桌面、Web、移动端)的大多数 PR 在最多一个人参与的情况下合并,这个人可以是作者本人,前提是 revert 率和事故率不涨。度量指标有三个:每个 PR 的人工审批数(中位数和 95 分位)、人工评论数、PR 等人的时长;revert 和事故率是护栏,涨了就说明时间只是被挪走了,没省下来。

怎么用:七层流水线逐层拆

整个流程从作者机器(或 Slack 里的 Claude 会话)开始,到用户手里结束。原文有一张七层图,我照着画了个 mermaid 版:

flowchart TD
    V["Pre-PR verification
tests, build, linter
fresh-context subagent review"]:::red A["AI review on every PR
parallel bug hunters
verifier votes per finding"]:::teal S["Security review
separate pass
open findings block merge"]:::yellow C["Required CI
lint, types, cross-platform tests
build and packaging"]:::blue H["Human approval
risk tier by the change
0, 1 or 2 persons"]:::sage M["Merge queue + flags
re-check on latest main
internal dogfooding first"]:::purple R["Fast rollback
flags off in one step
weekly on-call"]:::orange V --> A --> S --> C --> H --> M --> R classDef red fill:#FF6B6B,stroke:#764ba2,color:#000 classDef teal fill:#4ECDC4,stroke:#764ba2,color:#000 classDef yellow fill:#FFEAA7,stroke:#764ba2,color:#000 classDef blue fill:#45B7D1,stroke:#764ba2,color:#000 classDef sage fill:#96CEB4,stroke:#764ba2,color:#000 classDef purple fill:#DDA0DD,stroke:#764ba2,color:#000 classDef orange fill:#98D8C8,stroke:#764ba2,color:#000 linkStyle default stroke:#764ba2

每层各拦一类问题,谁都会漏,但很少有问题能穿透全部七层,漏网的交给回滚兜底。

第 1 层,PR 之前就验证。 给 Claude 能跑的东西:测试、构建、可以和设计稿对比的截图,要求它展示输出而不是声称完成;再让一个全新上下文的 subagent 审 diff。很多工程师还会跑几个内部 skill:一个找 bug、一个简化 diff、一个端到端查行为。Boris Cherny(Claude Code 的作者)的说法是,给 Claude 一种验证自己工作的方式"可能是最重要的事",他估计这让最终结果好两到三倍。反复被评审标记的同一类问题会修在源头:skill、lint 规则或 CLAUDE.md / REVIEW.md。REVIEW.md 由代码 owner 写,好的都很短:说清这个仓库里什么算失败(文档是"说谎了",配置是"路由错了"),限制 nit 数量,列出跳过的路径,要求给文件和行号当证据。

第 2 层,每个 PR 都有 AI 评审。 Claude 对照整个仓库和 PR 声明的意图读 diff,问三个问题:解决了它说的问题吗、符合系统吗、会弄坏别的东西吗。公开版本 Code Review for Claude Code 已在 Team 和 Enterprise 套餐 GA,/code-review 在本地跑轻量版。研究预览发布时,内部 PR 拿到实质性评审评论的比例从 16% 涨到 54%;超过 1,000 行的 PR 基本都有 finding,小的基本干净。重点在筛选机制:多个 Agent 并行找 bug,另一组 Agent 对每条 finding 投票,票数不够的不发;纯风格、诊断、清理类的直接丢弃,这套过滤器先在自己仓库 A/B 测过才保留。每条 finding 标 Important、Nit 或 Pre-existing,最后一个标签的意思是这 bug 不是这个 PR 引入的,别算作者头上。每条 finding 必须被回应:要么修,要么带理由关闭线程;经常是 Agent 一夜之间把修好,作者早上回来 PR 已经又过了一轮。

第 3 层,安全评审独立且可阻断。 bug 评审或安全评审有 finding 没关,PR 就不能合并。后面有 commit 修了它,finding 自动清除。同款能力可以用开源的 security review GitHub Action 或 /security-review 命令自建。

第 4 层,常规 CI。 lint、类型、全平台测试、构建打包,一个 CLI PR 在人看之前可能要过几十项检查。PR 模板要求写清怎么测的、怎么撤销,Claude 可以代填,但提需求的人要签字。

第 5 层,人工审批按风险分层。 这是整个设计里最值得抄的一张表:

风险 例子 人工审批
低 文档、文案、仅内部功能、flag 后面的增量变更 自动检查全绿即可,无需人
中 普通产品变更;缓存、自动更新器、system prompt 这类敏感区域 一人
高 最高风险代码,外加一小批永远要两人的路径 两人

配套规则有五条,条条都在堵人性漏洞:层级由分类器读变更内容决定,不由作者身份决定;第二个分类器再问一遍"这个变更是不是层级之外还需要人";CI workflow 文件和 owner 标记的敏感路径永远要人;只有受信任名单上的作者走轻量路径,其他人都需要第二人;Agent 的审批永远顶不了人的名额。还有两条容易忽略的:指挥 Agent 干活的人算一个必选 reviewer,跟你亲自敲代码一样;一次审批只覆盖一个具体 commit,系统无法担保的新 commit(Agent 推的、人工解决的合并)进来,审批要重来。

第 6 层,合并队列和灰度。 merge queue 把所有检查在最新 main 上重跑一遍,两个各自通过的 PR 不能合出坏 main。新功能先挂 flag 给 Anthropic 员工用,再走 latest 渠道,stable 渠道垫后。

第 7 层,快速发现快速回滚。 flag 不用部署就能关,每周轮值的 on-call 盯着,事故复盘必问"哪一层本该拦住它"。他们还没做断路器(指标异动自动收紧审批),工程师们希望在更多变更走向零人审批之前先有这东西。

想整套搬回家,原文给了一份按阶段排的清单:PR 前,给 Agent 可跑的检查、写 CLAUDE.md、配 hooks、本地跑 /code-review 和 /security-review、把重复出现的评审意见沉淀进 REVIEW.md;PR 上,强制 CI、模板加"怎么测的/风险/怎么撤销"三栏、先在一个仓库挂 AI reviewer 调几周 REVIEW.md 再推开、所有评审线程关闭才能合并、评审深度按风险选 Quick/Standard/Deep、给评审轮数设上限;审批,风险分层从变更出发、先严后松、CODEOWNERS 和分支保护守住认证/计费/CI/发布路径、机器人的审批永远不能顶替人的;合并后,merge queue、flag、内部先用、分级发布、一步回滚,把事故和 revert 变成 eval 集,评审器的 prompt/工具/模型每次变动都重新跑分。

值得学什么:四个机制

第一,事故即 eval,评审器当被测对象。 他们把历史上引发事故的 PR 连同 fix-forward 和 revert 收集起来,由熟悉那段代码的工程师逐个确认 bug 是什么、在哪,做成案例集,评审器每天对着它跑,每起新事故往里加一个案例,评审器的 prompt、工具或模型每次变动都全量重跑,分数涨了才保留改动。评审器自己被持续评测,这件事比评审器本身更少有团队做。

第二,噪声按人的反应来度量。 多报总比漏报容易,所以需要另一只手:把评审器留下的每条评论按 PR 上的人怎么回应分类:修了、说是误报、说行为是故意的、说无所谓。再把评审器放到已知干净的 PR 上跑,数它引发有害变更的频率。优先级白纸黑字:先抓真 bug,再砍评审轮数。他们还点出一个反直觉的成本结构:噪声对人类作者是小事,摆手几秒就过了;对 Agent 作者,一个 nit 就是一个 commit 加一轮评审。

第三,收敛性要靠机制逼出来。 Agent 作者和 Agent 评审可以互相喂活无限循环:一个 CLI PR 一夜之间跑了五十多轮评审和修复,作者受不了才停。他们用 git blame 查评审器反复标记的内容,约 59% 是第一轮就在那里的代码,评审器每轮只是在多找几条旧 bug。整改四招:三轮封顶,超了让作者退一步重新想方案;前几轮之后只复审新 diff;标记 bug 的类,让作者一次修完所有实例而不是一行;已发过的 finding 不重复发。效果数据(原文图注):一轮评审加修复就通过的 PR 从 65% 升到 78%,需要五轮以上的从 8.9% 降到 1.5%,平均评审轮数从 2.08 降到 1.32。

第四,代码理解换一种传播方式。 review 的第二职责是把代码库的理解传给团队,机器读了 diff 之后人怎么学?他们的答案是没人维护完整的心智模型,谁要懂哪块就让 Claude 给那一块写讲解文档,几分钟,而且反映的是今天的代码;有人更进一步让 Claude 做成可视化 artifact 配合自己的学习习惯。对比很直接:读一行文案改动的 diff 学不到任何东西,给即将修改的模块做一份讲解学到很多。配套的是"you land it, you own it"文化:合了就归你修,成立的前提是变更小、一切可逆、爆炸半径决定检查强度、回归暴露得快,以及事后追系统不追个人。

同类比较:传统流程、AI review 产品、自建怎么选

先说口径:没有第三方 benchmark 比过各家 AI review 的召回率,下面全部数字出自 Anthropic 自报,理解成"他们家的工程账"而不是行业结论。另外几层只有公开产品形态可看(Code Review for Claude Code 的 Quick/Standard/Deep、GitHub Copilot 的代码评审、CodeRabbit 这类第三方),内部流水线细节以官方博客为准。

维度 传统人工 review AI review 产品(Copilot/CodeRabbit 等) Claude Code Code Review Anthropic 内部七层
审查主体 人读 diff 托管机器人评论 托管评审 + 投票验证 七层,多数变更零人参与
阻断能力 approve/reject 通常只评论不阻断 finding 不关不能合 全链路,含安全层和风险分层审批
事故反馈 复盘文档 无 无内建 事故即 eval,每日跑分
成本结构 人的时间随 PR 数线性涨 订阅费 按席位/用量 模型用量 + 少量人的时间

选型判断:小团队、PR 数不高,传统流程加上第 1 层和第 3 层(可跑的检查 + /security-review)是性价比最高的起点,不用买任何东西;PR 量大、想要"每 PR 都有机器第一遍",托管产品接入快,但要接受它们通常只评论不阻断;已经重度用 Claude Code 的团队,Code Review 是顺路货,真正的分水岭在愿不愿意做后面那几件事:风险分层审批、审批绑定 commit、事故变 eval、评审轮数封顶。这四件没有现成产品,全是流程工程,但恰恰是 Anthropic 把 revert 占比压降 40% 以上的那部分。

丑话说在前面:这套流程成立有三个前提,变更小、一切可逆、内部有大量员工当首批用户帮你在发布前踩坑。缺了任何一条,直接砍人工审批都是拿事故率换速度。原文自己也是这么说的:断路器没做出来之前,不打算把更多代码推向零人合并。

参考文档与链接

你的团队现在 PR 上有哪几层:只有 CI 和人,还是已经有机器第一遍、finding 必须关、风险分层?评论区说说你卡在哪一层。觉得有用点个赞。


作者: itech001
来源: 公众号:AI人工智能时代(the-ai-era)
网站: https://www.theaiera.top/ 关注每日最新AI新闻和技术博客,主页有更多的文章的AI 技术参考:https://www.theaiera.top

分享给朋友