第12章 推理增强

12.1 推理模型与思维链基础

2024 年起，对齐目标从「回答得体」转向「思考正确」，推理模型（Reasoning Model）通过强化学习鼓励模型在作答前 生成长思维链（Chain-of-Thought），在数学、代码等可验证任务上实现了能力跃迁。

12.1.1 推理模型演进

推理模型的路线由 2024-09 发布的 o1 系列确立：不再要求模型立即作答，而是允许其在内部展开多步推理，把推理时间 转化为正确率，这一范式被命名为测试时计算（Test-Time Compute）。o1 的出现改变了对齐的评价标准，此前对齐关注 回答与人类偏好的吻合度，此后更关注答案在客观任务上的正确率。2025-01 DeepSeek-R1 用开源方式验证了该路线： 仅靠强化学习，模型即可自主涌现出反思与自我纠错行为。2025-10 DeepSeek-V3.2 成为首个将思考融入工具使用的模 型，把推理链与函数调用（Function Call）结合，使模型能在思考中决定何时查询外部工具。进入 2026 年，Kimi K3 与 DeepSeek-V4 等旗舰把推理强度做成用户可配置项，形成完整的商业产品形态。演进路径如图12-1 所示。 Tool-Use Thinking (V3.2) Pretrained Model Cold-Start SFT RL with GRPO Reasoning Model Distillation to Small Model s Configurable Reasoning Ef fort 图12-1 推理模型训练路线

12.1.2 R1-Zero 与冷启动

DeepSeek-R1 论文中最具启发性的实验是 R1-Zero：完全跳过 SFT，直接在预训练模型上跑 RL。训练过程中，模型自发 涌现出「反思已生成步骤并回溯修正」的长思维链，论文将其称为顿悟时刻（Aha Moment），且 AIME 2024 等数学基准 随训练持续提升。这证明推理能力无需监督数据也能从 RL 中涌现，对「推理必须依赖高质量人类思维链数据」的假设构 成直接挑战。 这一结果的代价是输出可读性差：R1-Zero 出现语言混杂（中英混排）、格式混乱、回答无休止冗长等问题，无法直接服 务用户。纯粹 RL 只优化奖励，不约束表达。为此 DeepSeek-R1 采用冷启动方案：先以少量高质量思维链样本做 SFT， 教模型正确的思考格式（如 推理过程 、 最终答案 分段），再进入大规模 RL。冷启动后的 R1 在 AIME 2024 上达到 79.8%，超过当时的 o1-preview，同时解决了 R1-Zero 的可读性问题。 这确立了「少量 SFT 定格式 + 大规模 RL 提能力」的标准范式。SFT 与 RL 的分工由此明确：SFT 提供表达约束，RL 提供 能力增长。冷启动数据无需海量，数千条精选思维链即可，且质量要求集中在格式规范而非推理深度，推理深度交给 RL 去挖掘。

12.1.3 测试时计算与思维链蒸馏

o1 确立的测试时计算范式允许模型在推理阶段投入更多计算换取更高准确率。这一现象被量化为测试时缩放法则（Test- Time Scaling Laws）：当预训练计算固定时，测试时计算与准确率近似呈幂律关系，收益与预训练缩放相当。推理模型的 产品化由此引入「推理预算」概念：预算越高，模型展开的思考步数越多，单位请求成本也随之上升。 高推理成本的现实压力催生了思维链蒸馏（CoT Distillation）。2025 年起业界普遍把大推理模型的思考轨迹蒸馏到小模 型：DeepSeek-R1 蒸馏出的 1.5B-70B 系列在数学推理上显著超越同等规模的通用模型，且蒸馏带来的收益高于同等规模 的 RL 训练。蒸馏本质上是在传递推理模式而非参数，因此小模型继承的是「怎么想」，而不是「知道什么」。蒸馏产物服 务于 2026 年推理强度分层策略的底层档位，让低成本设备也能获得基础推理能力。 测试时缩放并非没有代价。思考链越长，单请求延迟与 token 成本越高，需要与准确率增益做权衡。o1 系列通过隐藏思 考链控制隐私暴露，DeepSeek-R1 则公开完整思考过程换取可解释性。2025 年后，多数服务按强度档位定价，把缩放权 衡交给用户选择，测试时计算由此从研究概念转化为商业化的定价模型。

12.1.4 2026 推理强度配置

2026 年旗舰推理模型把思考强度产品化为用户可调参数。Kimi K3（2026-07）提供 reasoning_effort 选项，取值 low 、 high 、 max ，默认 max ，且始终开启思考模式，用户无法关闭思考链，只能在强度档位间选择。DeepSeek-V4 系列与之对应，其中 DeepSeek-V4-Pro-Max 为最高推理强度模式，面向数学竞赛与高难度代码任务。 「按强度收费」的商业模式倒逼底层能力分层：同一基座模型需在低强度下保持快速直接回答、在高强度下保持深度推 理，这要求后训练阶段对不同强度档位分别收集偏好与 RL 信号，数据配比因此比单档模型复杂得多。低强度档位还承担 在线延迟敏感场景，训练时须抑制过度思考倾向，防止模型在简单问题上也展开冗长推理。推理成本的控制压力由此传导 给 KV 缓存与激活管理，后训练与推理系统的协同成为 2026 年无法回避的工程议题。

12.1.5 思维链的定义与形式化

思维链推理（Chain-of-Thought Reasoning, CoT）是近年来大语言模型推理能力发展中最重要的范式之一。Wei et al. （2022）首次系统论证了在提示（Prompt）中引入中间推理步骤可以显著提升大语言模型在算术、常识和符号推理等任 务上的表现。此后的四年间，CoT 从一个简单的 few-shot 提示技巧，演进为一整套涵盖结构设计、链压缩、长度优化与 危害诊断的完整方法论体系。 给定一个输入问题 x，标准提示（Standard Prompting）直接要求模型生成答案 y： ∣y∣ P (y ∣ x) = ∏ P (yt ∣ y<t , x) t=1 标准提示的局限在于：对于需要多步推理的问题，模型被要求从 x 到 y 做一步到位的映射。当推理步数超过模型单次前向 传播的隐式推理深度时，准确率会显著下降。 思维链提示在问题 x 和最终答案 y 之间插入推理步骤序列 z = (z , z , … , z )： 1 k P (y ∣ x) = ∑ P (y ∣ z, x) ⋅ P (z ∣ x) z 其中 P (z ∣ x) 为推理路径的生成概率，P (y ∣ z, x) 为给定推理路径后答案的条件概率。在实际使用中，模型自回归地联合 生成推理链和答案： ∣z∣ ∣y∣ P (z, y ∣ x) = ∏ P (zt ∣ z<t , x) ⋅ ∏ P (ys ∣ y<s , z, x) t=1 s=1 这一分解将复杂的多步推理从模型的内部隐式计算转化为外部显式生成，使得中间推理步骤可被检查、修正和验证。

12.1.6 中间推理步骤误差分解

CoT 的效能可以从误差分解（Error Decomposition）的角度加以理解。对于需要 k 步推理的问题，直接生成答案的累积 误差可以被建模为： k k ϵdirect = 1 − ∏(1 − ϵi ) ≈ ∑ ϵi i=1 i=1 其中 ϵ 为第 i 步推理出错的概率（假设各步独立，且错误均导致答案错误）。在标准提示下，所有 k 步推理在模型内部隐 式完成，任何一步出错都将导致最终答案错误。 i 思维链提示的核心效应是将联合推理分解为序列化的条件生成。每一步显式生成的推理输出 z 同时作为下一步的条件输 入，使得模型在生成 z 时可以看到之前的推理结果，从而降低条件错误概率： i i+1 P (zi+1 wrong ∣ zi visible) < P (zi+1 wrong ∣ zi hidden) 直观上，这种分解类似于数值计算中的分步运算，每步的中间结果被显式存储并传递给下一步，而不是依赖一个黑盒的端 到端映射。 此外，显式的中间推理步骤还引入了自我修正（Self-Correction）的可能性。模型在看到自己的推理输出后，有机会识别 并纠正前一步的不一致或错误，这在标准提示中是不可能的，因为在标准提示中，所有推理都在不可见的隐空间中一次性 完成。

12.1.7 Few-shot CoT

Wei et al.（2022）提出的原始 CoT 方法依赖于 few-shot prompting，在提示中提供若干包含完整推理步骤的示例 （Exemplar）。典型格式为： Question Q1： ： Reasoning R1_1 -> R1_2 -> ... -> R1_k Answer: A1 Question Q2： ： Reasoning R2_1 -> R2_2 -> ... -> R2_m Answer: A2 ： Question Q_target Reasoning ： Few-shot CoT 的核心机制是上下文学习（In-Context Learning），示例中的推理模式（包括推理的步长、格式、自我验 证等行为）通过注意力机制传递给目标问题，引导模型模仿相似的推理过程。 Wei et al. 在 GSM8K（数学文字题）上的实验显示，使用 540B PaLM 模型，标准 few-shot 提示准确率约 17.0%，而加入 推理链的 few-shot CoT 提示将准确率提升至 56.9%，提升幅度超过 39 个百分点。在 StrategyQA（多步常识推理）和 SVAMP（结构变体数学题）上同样观察到显著的提升。

12.1.8 Zero-shot CoT

Kojima et al.（2022）发现，即使不提供任何示例，仅通过在提示末尾添加一句简单的触发语，也能有效激活大模型的推 理链生成能力。其核心 prompt 仅为： Let’s think step by step.（让我们逐步思考。） Zero-shot CoT 的发现有两个深层含义： •模型具备内在的推理能力：大语言模型在预训练中已经学到了分步推理的模式，只是需要适当的提示将其激 发。“Let’s think step by step” 充当了推理模式的激活开关。 •推理能力是涌现的：Zero-shot CoT 的效果高度依赖模型规模。对于小于 10B 参数的模型，该触发语几乎无效；对于 100B+ 参数模型，它能带来几十个百分点的提升。这表明推理能力是规模涌现的产物。 在精度上与 Few-shot CoT 的对比：Zero-shot CoT 在大多数任务上的表现略低于精心设计的 few-shot CoT（约 0–10 个 百分点的差距），但由于不依赖人工编写示例，在实用性和泛化性上有巨大优势，一个统一的“Let’s think step by step”可以适用于各种推理任务，而 few-shot CoT 需要为每个任务定制示例。

12.1.9 Auto-CoT

Zhang et al.（2022）提出的 Auto-CoT 弥合了 Few-shot 和 Zero-shot 之间的鸿沟。其核心思路是：用 Zero-shot CoT 自 动生成示例，再用这些示例进行 Few-shot CoT。具体分两步：

1. 问题聚类：将待处理的问题集通过语义嵌入聚类为 K 个簇，每个簇选择代表性样本作为“种子问题”。
2. 自动生成推理链：对每个种子问题，使用 Zero-shot CoT（“Let’s think step by step”）自动生成推理链和答案。这些 自动生成的（问题，推理链，答案）三元组即构成 few-shot 示例。 Auto-CoT 的关键洞察在于：示例的来源比示例的设计更重要。通过从与目标问题分布相似的种子问题中自动抽取推理 链，Auto-CoT 避免了人工设计示例的领域偏差和覆盖不足问题。在多个 benchmark 上，Auto-CoT 达到了与人工设计的 few-shot CoT 相当甚至更优的性能。三种范式的关系如图12-2 所示。 Few-shot CoT Zero-shot CoT

Manually written examples Concatenated in prompt Model generates reasonin Trigger phrase: Let's think Model generates reasonin g chain + answer step by step g chain + answer Auto-CoT Question clustering Generate zero-shot CoT ex Auto examples + Few-shot amples CoT 图12-2 Few-shot、Zero-shot 与 Auto-CoT 的关系

12.1.10 自洽性

Wang et al.（2023）提出的自洽性（Self-Consistency）方法从另一个维度提升 CoT 推理的准确性。其核心思想是：对 于同一个问题，采样多条不同的推理链，然后通过多数投票（Majority Voting）选择最一致的答案。 形式化地，给定问题 x，从模型采样 m 条推理链及其答案： {(z (1) , y (1) ), (z (2) , y (2) ), … , (z (m) , y (m) )} ∼ P (z, y ∣ x) 最终答案 y 由多数投票决定： ∗ m y ∗ = arg max ∑ 1[y (i) = y] y i=1 自洽性有效的理论依据在于：当模型的推理能力足够强时，正确推理的选择概率虽然可能不是最高，但在多条采样中通常 占据相对多数。而错误的推理路径往往彼此不一致，每个错误路径可能指向不同的错误答案，导致错误答案的投票分散。 因此多数投票天然偏向正确答案。 自洽性的性能增益随采样数 m 增大而单调递增，但边际递减： Accuracy(m) ≈ Accuracy(1) + c ⋅ log(m) 其中 c 为任务相关的增益系数。通常 m = 5 ∼ 10 即可捕获大部分增益。 自洽性的两个关键前提： •采样多样性：如果模型对同一问题总是产生高度相似的推理链（即采样温度过低），自洽性的优势无法发挥。实践中通 常使用 temperature τ ≥ 0.5 以增加多样性。 •答案可行性：多数投票要求答案可以聚合并比较。对于数学题（答案为数字）、多选题（答案为选项）等封闭式答案， 聚合是直接的。对于开放式生成任务（如文本摘要），需要额外的语义聚类方法。

12.1.11 思维链生效的任务分类

并不是所有任务都受益于思维链推理。系统地理解 CoT 的生效条件，需要建立任务分类学（Task Taxonomy）。 CoT 增益显著（增益 > 10%）的任务类型如表12-1 所示。 任务类型 代表 benchmark CoT 增益幅度 原因分析 数学文字题 GSM8K, MATH 20–40% 需要多步算术运算，每步结果显式存储可大幅降低错误传播 符号推理 Last Letter, Coin Flip 30–50% 需要追踪符号状态的多步变换 常识推理 StrategyQA, CSQA 10–25% 需要组合多方面的常识知识进行推理 逻辑推理 LogiQA, ProofWriter 15–30% 多步逻辑演绎，中间结论需显式记录 代码推理 HumanEval, MBPP 10–20% 复杂代码需要分步理解问题→设计算法→生成代码 表12-1 CoT 增益显著的任务类型 CoT 效果有限或无效（增益 < 5%）的任务类型如表12-2 所示。 任务类型 代表 benchmark 原因分析 事实问答 TriviaQA, NQ 单步信息检索，无需多步推理 翻译 WMT, Flores 序列到序列的转换，线性解码而非推理 情感分析 SST-2, IMDB 单步分类任务 简单文本分类 AG News, DBPedia 模式匹配即可完成 语言建模困惑度 WikiText, C4 逐词预测，不在推理层 表12-2 CoT 效果有限的任务类型 CoT 有效性的三个必要条件（Suzgun et al. 2023）： •问题的推理步数：问题至少需要 2 步以上的推理。单步问题从 CoT 中获得的好处可忽略不计。 •模型的基础推理能力：CoT 不能创造模型原本不具备的推理能力。如果模型在某个能力上完全随机猜测（如对极低频语 言的翻译），CoT 无法挽救。 •推理链与问题规模的匹配：推理链的步数应与问题的复杂度匹配。过于简单或过于复杂的推理链都会降低效果。过长的 推理链可能引入额外的错误机会，过短的则无法充分分解问题。

12.1.12 推理成本的度量

CoT 的性能增益有其代价，推理链显著增加了生成的 token 数量。定义 CoT 的推理膨胀率（Reasoning Inflation Ratio, RIR）： CoT 生成 token 数 RIR = 无 CoT 生成 token 数 典型 RIR 因任务而异，如表12-3 所示。 任务 无 CoT token 数 有 CoT token 数 RIR 额外成本 GSM8K（数学题） 约30 约200 6.7× 中等 MATH（竞赛数学） 约50 约500 10× 高 CSQA（常识推理） 约10 约80 8× 中等 任务 无 CoT token 数 有 CoT token 数 RIR 额外成本 Codeforces 约200 约2000 10× 极高 表12-3 思维链的 token 开销与收益

12.1.13 提示工程体系

提示工程（Prompt Engineering）研究如何构造输入以引导模型产出符合预期的输出，是推理能力在推理时（inference- time）侧的激活手段。它与微调不同：不改变模型参数，只改变条件分布 π (y ∣ prompt) 所处的输入区域。提示工程的成 熟形态是一套可组合的体系，而非单条提示。 θ

1. 少样本与上下文学习 少样本（Few-shot）在提示中给出若干输入输出示例，让模型通过上下文学习（In-context Learning）模仿模式。示例 的选择影响显著：与任务分布接近的示例优于随机示例；示例顺序与数量同样影响稳定性。少样本提示本质上是把「如何 完成任务」编码进条件分布，是提示工程的基础组件。
2. 系统提示与角色设定 系统提示（System Prompt）声明模型的行为边界与任务框架，常见内容包含角色设定、输出格式约束、禁止事项。它 提供稳定的高层指导，用户消息则承载具体请求。系统提示的措辞粒度对指令遵循质量有可度量的影响，是提示工程中最 具工程价值的组成部分。
3. 结构化输出与格式约束 结构化输出要求模型返回符合 Schema 的结果，如 JSON 对象、固定字段。实现方式包括在提示中给出格式示例、约束 字段枚举，以及配合解码层的语法约束（constrained decoding）保证输出合法性。结构化输出是模型接入下游系统（工 具调用、数据落库）的前提。
4. 提示调优与微调的关系 提示调优（Prompt Tuning）在输入侧学习连续的软提示向量，属于参数高效的适配手段；它与硬提示互补。提示工程的 局限在于模型能力本身，提示只能激活模型已习得的能力，无法注入训练分布之外的知识，超出能力边界时需转向微调。 三者的适用边界如表12-4 所示。 表12-4 提示、提示调优与微调对比 维度 提示工程 提示调优 监督微调 参数 不更新 软提示向量 全部或部分 数据 少量示例 配对数据 大规模任务数据 能力注入 激活已有能力 轻量适配 注入新能力 成本 最低 低 高

12.2 推理结构与链压缩

线性思维链是推理的基础形态，但推理本身并不总是线性的：复杂问题需要探索多条路径、回溯与比较中间结果，或并行 生成子任务再聚合。自 2023 年以来出现了树（Tree-of-Thought）、图（Graph-of-Thought）与融合程序执行的混合结 构；推理链压缩则在保持精度的前提下缩短链长，缓解推理成本与延迟压力。

12.2.1 具体推理结构

1. 线性链的局限与结构化 线性 CoT 的基本形式为： Q → z1 → z2 → ⋯ → zk → A 其中每个 z 为一步推理，A 为最终答案。这种结构隐含着三个强假设： i •单一路径假设：存在一条唯一的最优推理路径，且模型能在首次尝试中找到它 •无回溯假设：每步推理都是正确的，不存在需要回顾和修正的场景 •顺序依赖假设：所有推理步骤之间存在严格的 z → z 顺序依赖 i i+1

然而，现实中的复杂推理问题往往违反这些假设。一道竞赛级数学题可能需要同时探索代数变换、几何构造和反证等多种 思路；一个复杂的编程问题可能需要独立生成多个子函数再整合。结构化推理的动机正是放松这些假设，允许推理过程以 树、图或其他更丰富的拓扑形式展开。 2) 思维树 Yao et al.（2023）提出的思维树（Tree-of-Thought, ToT）将推理从一维序列扩展到二维搜索树。其核心机制包括： 思想生成（Thought Generation）：在每个推理节点，模型生成了 k 个候选的后续推理步骤，而非单一的继续。设当前推 理上下文为 c（当前节点），模型从分布中采样 k 个候选： {z (1) , z (2) , … , z (k) } ∼ P (z ∣ c), temperature τ > 0 状态评估（State Evaluation）：对每个候选步骤 z ，模型评估其合理性。ToT 提供两种评估策略： (i) •独立评估（Value）：模型为每个状态给出数值评分 v(z ) ∈ [1, 10] 或分类判断（sure/likely/impossible），可用于启发 (i) 式搜索中的优先级排序 •投票评估（Vote）：在多个候选步骤间进行比较性投票，选出最优候选 搜索策略：ToT 支持两类经典搜索算法： •广度优先搜索（BFS）：每层同时探索所有候选步骤，适合搜索深度较浅但分支较多的问题（如创意写作）。BFS 保证找 到全局最优但需维持大量活跃节点。 •深度优先搜索（DFS）：沿最有希望的路径深入探索，直到达到终止条件或死胡同，然后回溯。DFS 内存效率高但在更 深的问题空间可能错过全局最优。 ToT 在三个任务上的表现如表12-5 所示。 任务 线性 CoT ToT (BFS) ToT (DFS) 搜索成本 Game of 24（24点游戏） 7.3% 74% (BFS, k = 5) 45% 高 创意写作（5×5 交叉约束） 约60% pass 约80% pass 约75% pass 中 填字游戏（Mini Crosswords） 约40% success 约60% success 约55% success 中 表12-5 ToT 在典型任务上的表现 Game of 24 的 74% vs 7.3% 对比（约 10 倍提升）展示了结构化搜索在需要回溯能力的问题上的决定性优势。搜索过程 如图12-3 所示。 Question: Use 4 4 10 10 to compute 24 Idea 1: (10×10-4)/4 Idea 2: 10+10+4 won't wor Idea 3: Try fractional path k Evaluate: 10×10=100, 100- Evaluate: 10+10=20, 20+4= 4=96, 96/4=24 ✓ 24 but missing one numbe 4/10=0.4? r✗ 10-0.4=9.6? 图12-3 Game of 24 的 Tree-of-Thought 搜索示意 3) 思维图 Besta et al.（2023）提出的思维图（Graph-of-Thought）将 ToT 的树结构进一步泛化为有向图。在图结构中，同一推理 步骤可以合并为不同的后续推理提供输入（多出边），也可以聚合多条先前的推理得到更精炼的中间结果（多入边）。 GoT 将推理操作建模为对图上思想的四种图操作： 聚合（Aggregation）：将多条推理结果合并为一个。例如，从正反两方面推理得到的结论可以聚合为一个综合观点： Agg(z , z , … , z ) = LLM(“综合以下观点: ” + concat(z , z , … , z )) (1) (2) (m) (1) (2) (m) 精细化（Refinement）：对一条思想进行改进和修正，生成其优化版本。在图中体现为一条从原始思想到精化思想的边。 生成（Generation）：从一条思想产生多条新的后继思想（即 ToT 中的思想生成），在图中体现为一对多的边。 回环（Looping）：允许从后续思想回到前驱思想，形成循环，这对应了迭代改进（iterative improvement）的推理模 式。GPT-4 擅长这种改进循环。其推理图结构如图12-4 所示。 Question: Evaluate a busin ess plan's feasibility Market Analysis Financial Projections Competitive Analysis Aggregate Operations Aggregate: Market opportu Aggregate: Financial feasib Aggregate: Competitive la nity assessment ility assessment ndscape assessment Comprehensive assessme nt Refine: Revise assessment after considering risk facto rs Final conclusion 图12-4 Graph-of-Thought 的推理图结构示例 GoT 在排序任务（sorting）上的实验表明，通过聚合来自不同排序策略的中间结果，GoT 的排序质量（以 Kendall tau 度量）相比线性 CoT 提升 62%。其代价是 LLM 调用次数增加约 3–5 倍。 4) 嵌套推理结构 并非所有复杂推理都需要搜索，有些问题的结构天然支持嵌套分解，即 Divide-and-Conquer 策略。 递归推理（Recursive Reasoning）：将一个复杂问题分解为同类型的子问题，递归解决后合并。典型场景包括： •长文档问答：将长文档分割为段落，分别提取关键信息，再聚合为完整答案 •层次化数学证明：将一个定理的证明分解为若干引理的证明，每个引理的证明又与主定理证明同构 分治推理（Divide-and-Conquer Reasoning）：将一个异构问题分解为不同类型的子问题，分别处理： Solve(Q) = Combine (Solve1 (Q1 ), Solve2 (Q2 ), … , Solvem (Qm )) 其中各 Solve 可以是相同或不同的推理策略。 i 嵌套推理的计算成本通常低于搜索型结构（因为分解是确定性的，无回溯），但其有效性取决于子问题的分解质量和独立 解决能力。若子问题之间存在隐式依赖（如子证明 Q 依赖于 Q 的结论），线性分解将失效。 2 5) 思维算法 Sel et al.（2023）提出的思维算法（Algorithm-of-Thought, AoT）将算法设计思想融入推理过程。AoT 的核心创新在 于：让模型显式地设计和遵循一个算法化的推理步骤，而非依赖从示例中隐式学习的推理模式。 AoT 的推理模板通常包含以下组件： Algorithm: [Algorithm name] Input: [Formal representation of reasoning question] Steps:

1. [Initialize data structure/state]
2. WHILE [termination condition not met]:

    a. [Select next action in state space]
    b. [Execute action and update state]
    c. [Evaluate current state]

3. Output: [Final answer] AoT 在需要系统性搜索的问题（如最短路径、约束满足）上优于线性 CoT，因为算法框架提供了系统性的搜索指导，减少 了遗漏有效路径的概率。 In-Context Algorithmic Reasoning：Zhou et al.（2023）进一步发现，通过在 few-shot 示例中展示完整的算法执行 轨迹（包括中间变量的值），模型可以学习到在上下文中模拟算法的能力。例如，对于排序任务，在示例中展示冒泡排序 的完整执行过程（含每次交换后的数组状态），模型可以在新的排序实例上模仿这一过程。

6. 思维程序 Chen et al.（2022）提出的思维程序（Program-of-Thought）将自然语言推理链替换为可执行代码。对于数学和符号推 理任务，其核心思路是：

1. 将推理需求表达为一段 Python（或其他语言）程序
2. 执行该程序以得到最终结果
3. 用执行结果替换推理链的生成 PoT 的推理模板： Question: 15 apples to 3 children, each gets at least 3, how many ways to allocate?

 # PoT Generation:
 from itertools import product
 count = 0
 remaining = 15 - 3*3 # First give each 3
 for a, b, c in product(range(remaining+1), repeat=3):
     if a + b + c == remaining:
         count += 1
 print(count)
 # Result: 28

PoT 在两个维度上显著优于自然语言 CoT： •精确性：Python 解释器的算术运算不会出错，而 LLM 在自然语言中进行大数计算时错误率随数字增大而急剧上升。对 于较大数字的算术，PoT 的准确率接近 100%（受限于代码的正确性），而 CoT 的准确率可能降到 50% 以下。 •效率：一段 Python 代码的执行通常比等价的自然语言推理链的 token 生成快一个数量级。对于包含大量重复计算（如 循环、迭代）的推理问题，PoT 的效率优势更为显著。 PoT 的局限在于语义鸿沟：将自然语言中的推理需求精确翻译为可执行代码本身就是一个非平凡的任务。当问题涉及模糊 的常识推理或需要外部知识时，PoT 的代码生成可能不准确或无法执行。

12.2.2 对比分析

1. 结构对比优势与成本 各推理结构的成本与效能对比如表12-6 所示。 结构 推理拓扑 搜索/回溯 LLM 调用数 典型增益 最佳场景 线性 CoT 链 无 O(k) 基准 大多数推理任务 Self-Consistency 并行链 采样投票 O(mk) 5–15% 有闭合答案的任务 ToT (BFS) 树 广度优先 O(bd ) 10–60% 分支多深度浅 ToT (DFS) 树 深度优先 O(bd) 5–30% 分支少深度深 GoT 图 聚合+回环 O(V + E) 10–60% 多源合并+迭代改进 嵌套推理 树(递归) 无 O(m log n) 5–20% 可分治的问题 AoT 链+状态 算法化搜索 O(k ⋅ s) 10–30% 系统搜索问题 PoT 链→代码 执行器处理 O(k) 20–50% 算术/符号推理 注：k 为推理步数，b 为分支因子，d 为搜索深度，m 为采样数，V + E 为图节点+边数，s 为搜索空间大小。 表12-6 推理结构的成本与效能对比
2. 搜索成本的结构化分析 结构化推理的 LLM 调用成本可以统一形式化为： Ctotal = Cgen ⋅ Nthoughts + Ceval ⋅ Nevaluations

其中 C 为单次思想生成的成本（以 token 计），N 为生成的思想总数，C 为单次评估的成本，N gen 为评 thoughts eval evaluations 估次数。 不同结构在 N 和 N thoughts 上的分布差异巨大： evaluations •线性 CoT：N = k ，N thoughts = 0，最经济 evaluations •Self-Consistency：N = mk ，N = 0，线性放大 thoughts evaluations •ToT BFS：N = ∑ b ，N ，指数增长 d thoughts =N l evaluations thoughts •GoT：N = ∣V ∣，N ∝ ∣E∣，取决于图的密度 l=0 thoughts evaluations ToT 的 b 复杂度是其最大的实践障碍。对于深度 d = 5、分支 b = 3 的搜索，需要生成和评估 1 + 3 + 9 + 27 + 81 = 121 d 个思想，假设每次生成 200 tokens、每次评估 50 tokens，单次推理的 LLM 成本约 121 × 250 = 30, 250 tokens，约 $0.10–0.30 的 API 费用（取决于模型定价）。这在需要高吞吐量的实际应用中是一个显著的成本。 3) 多路径推理的互补性分析 Wang et al.（2023）以及后续工作对来自不同推理结构的预测进行了互补性分析（Complementarity Analysis），以判断 不同方法是否捕获了正交的错误模式。 互补性的度量方法：对于两种方法 A 和 B，定义互补性增益（Complementarity Gain）： G(A, B) = Acc(A ∪ B) − max(Acc(A), Acc(B)) 其中 Acc(A ∪ B) 为在 A 和 B 至少有一个正确时判对的准确率。 实证发现揭示了几个重要模式： •线性 CoT + Self-Consistency：通常有最高的互补性（G ≈ 8–15%），因为采样多样性自然捕获了正交的错误模式 •CoT + PoT：在数学任务上有显著的互补性（G ≈ 10–20%），原因是自然语言推理和代码执行具有天然的错误独立性， CoT 在语义理解上更强，PoT 在精确计算上更强 •ToT + GoT：互补性较低（G ≈ 3–8%），因为两种树/图搜索方法在搜索策略上的差异本质上是在同一错误空间的不同探 索，而非真正正交的错误模式 •结构化方法 + 简单方法：通常有正的互补性，但两种复杂方法之间的互补性往往有限 这一分析的一个实用推论是：将推理预算按 70:30 的比例分配在互补性最强的方法对上，通常能获得最优的投入产出比。 不同方法间的互补性分析如图12-5 所示。 Reasoning Method Combinations Complex Structures Self-Consistency Combination A: High comp lementarity G≈12% Tree-of-Thought Graph-of-Thought Combination C: Low comp Linear CoT lementarity G≈5% Program-of-Thought Combination B: Very high complementarity G≈18% 图12-5 不同推理方法之间的互补性分析 4) 结构选择的实践指导 基于上述分析，为不同推理需求选择推理结构的决策树如下：

1. 先判断问题类型，按类型选择结构：算术密集型选 PoT（代码执行保证精度），需要系统搜索（博弈、规划）选 AoT 或 ToT，需要整合多源信息选 GoT 或嵌套推理，一般推理选线性 CoT（低成本基线）。
2. 若有闭合答案（数学题、多选题），优先附加 Self-Consistency 投票，m = 5 ∼ 10。
3. 若线性 CoT 准确率已高于 80%，复杂结构的边际增益有限，不建议过度优化，重点关注推理效率。
4. 若问题允许试错（无严格的延迟或成本约束），可考虑 ToT、GoT 等搜索型结构。
5. 若延迟敏感（实时服务），优先选择 PoT 或短链 CoT，避免搜索型结构的指数级延迟增长。 这一决策框架以准确率为首要目标，实际部署时再叠加延迟与成本约束。

12.2.3 推理链长度悖论

观察 DeepSeek-R1 等长链推理模型的输出可以发现一个令人困惑的现象：对于一道中等难度的数学题，模型可能生成 2000 tokens 的推理链，但其中仅有约 600 tokens 是逻辑上必要的推理步骤。其余 token 包括： •反思冗余（Reflection Redundancy）：反复检查已得出的结论（“Let me double check… was that correct? Yes, it was.”） •路径探索冗余（Path Exploration Overhead）：尝试并放弃无效推理方向（“What if we try… no, that doesn’t work.”） •表达冗余（Expression Verbosity）：用过多自然语言描述简单的数学关系 •自问自答冗余（Self-QA Redundancy）：模型向自己提问然后回答，模拟人类思维过程 这些冗余在特定情况下可能有益（如反思帮助纠错、路径探索发现更优解），但在大量情形中，它们是零增益或负增益的 token 消耗。 定义推理链的信息效率（Information Efficiency）： 推理的正确性增益 η= 推理链的 token 成本 直观而言，η 衡量了每个推理 token 平均带来的准确率提升。当推理链包含大量冗余时，η 显著下降，增加 1000 tokens 可能只带来不足 1% 的额外准确率。

12.2.4 内省机制

ThoughtFold 的第一个关键组件是内省器（Introspector），一个独立的评估组件，用于判断每个中间推理步骤的质量与 必要性。内省器的设计基于以下洞察：同一 LLM 在作为生成器和评估器时展现出不同的能力模式。一个模型可能生成冗 长的推理链，但当要求它评估一条推理链的简洁性和准确性时，它能做出相当准确的判断。 内省器的评分函数 I 对推理链 z = (z , z , … , z ) 中的每一步 z 赋予一个效用评分： k i I(zi ∣ z<i , Q) ∈ [0, 1] 其中 Q 为原始问题。评分维度包括： •必要性（Necessity）：该步骤是否是到达正确答案所必需的？移除它是否会导致后续推理出现逻辑断裂？ •新信息量（Information Novelty）：该步骤是否引入了比前序步骤新的信息？重复已建立结论的步骤得低分。 •正确性（Correctness）：该步骤本身的推理是否正确？ •简洁性（Conciseness）：该步骤的表达是否精炼？是否存在可以用更短文本表达等价内容的情况？ 内省器的评分通常通过 LLM-as-Judge 方式实现：将当前步骤及其上下文输入给模型，要求模型输出结构化评分。典型 prompt 模板： Given question Q and previous reasoning steps z_1...z_{i-1}, evaluate utility of step z_i:

 - Necessity (1-5): How necessary is this step to reach the final answer?
 - New info (1-5): How much new info does this step introduce?
 - Conciseness (1-5): Could this step be expressed more concisely?

Please output scores in JSON format.

12.2.5 折叠机制

折叠（Folding）是 ThoughtFold 的核心操作。给定一个冗长的推理链 z ，通过以下流程生成其精炼版本 z ： long short

1. 内省评分：使用内省器对 z 的每一步进行评分，得到评分向量 s = (s , s , … , s )，其中 s = I(z ∣ z , Q)。 long 1 2 k i i <i
2. 步选取：根据评分向量选择需要保留的步骤。设选取阈值为 τ ，保留评分 s ≥ τ 的步骤。选取策略有三种：硬阈值 （Hard Threshold）保留评分不低于 τ 的步骤；Top-K 选取（Top-K Selection）保留评分最高的 ⌈αk⌉ 步，其中 α ∈ i (0, 1) 为压缩率；自适应选取（Adaptive Selection）按推理链总体评分曲线自动决定保留步数，评分曲线出现“肘点” （elbow point）时停止保留。
3. 重写：被保留的步骤可能间距不连续（中间步骤被剔除），需要进行连接性重写以消除逻辑跳跃。重写器（Rewriter） 在保留步骤间插入最小的过渡文本以确保逻辑连贯性。 折叠过程的压缩率定义为： ∣z short ∣ CR =

∣z long ∣ 其中 ∣ ⋅ ∣ 以 token 数度量。典型 CR 在 0.3–0.6 之间（即折叠后链长为原始的 30%–60%）。ThoughtFold 的折叠过程如图 12-6 所示。 Folded and refined reasoning chain z1: Analyze problem z3: Compute step 1 (compr z5->z6: Plan B + compute essed) (merged) z7: Derive answer X Original long reasoning chain Score 0.9 keep Score 0.95 keep z1: Analyze problem Check: Is step 1 correct? ✓ z4: Plan A failed Score 0.1 removed Reflection: Is plan A feasibl z3: Compute step 1 z2: Try plan A e? Yes Score 0.8 keep Score 0.7 merged z5: Switch to plan B Score 0.2 removed z6: Compute step 2 z7: Derive answer X 图12-6 ThoughtFold 折叠过程示意 图中剔除低分步骤，合并相关步骤。

12.2.6 偏好学习驱动的折叠优化

折叠器的质量核心在于内省器的评分准确性。ThoughtFold 通过偏好学习（Preference Learning）来训练内省器，使评 分与最终推理质量对齐。 偏好对构建：对同一道题目，收集模型在不同温度下生成的多条推理链。对于推理链 A 和 B，如果 A 生成的答案正确而 B 不正确，则构建偏好对 (A ≻ B)。更精细地，可以从链 A 中提取步骤子集 A ⊂ A 作为压缩候选，对步骤质量进行标注。 ′ 评分损失函数：内省器 I （参数 θ）的训练目标是最小化排序损失： θ Lrank (θ) = −E(z + ,z − )∈D [log σ (Iˉθ (z + ) − Iˉθ (z − ))] 其中 Iˉ (z) = ∑ I (z ) 为推理链的平均效用评分，σ 为 sigmoid 函数，D 为偏好对数据集。 θ ∣z∣ zi ∈z θ i 此外，还引入长度惩罚以鼓励精简的推理链： ∣z∣ Llength (θ) = Ez∈D [ ⋅ 1[Acc(z) = 1]] ∣z∣max 其中 ∣z∣ 为最大可接受链长。这一项对正确答案对应的长链施加惩罚，驱动内省器学习到同样正确的前提下，短链优于 max 长链的偏好。 总训练目标： L(θ) = Lrank (θ) + λ ⋅ Llength (θ) 其中 λ 为目标长度与排序准确性的权衡超参数。

12.2.7 实验效果

InternLM（2026）在多个数学推理 benchmark 上评估了 ThoughtFold 的效果。核心实验设置为：以 DeepSeek-R1（长 链模型）和 Qwen 2.5-72B-Instruct 为基座，分别测量无折叠（原始 CoT）、ThoughtFold 折叠、以及几种基线的压缩方 法的性能，结果如表12-7 所示。 方法 GSM8K MATH500 AIME 2024 平均链长(tokens) 链长压缩率 DeepSeek-R1 (原始) 94.2 92.8 79.2 2847 1.00× DeepSeek-R1 + ThoughtFold 93.8 92.1 78.5 1246 0.44× DeepSeek-R1 + 简单截断（trunc@50%） 88.1 85.3 65.7 1423 0.50× DeepSeek-R1 + Token-level 蒸馏 91.2 89.5 74.0 1530 0.54× Qwen 2.5-72B-Instruct (原始) 91.5 88.2 63.5 1156 1.00× Qwen 2.5-72B + ThoughtFold 90.8 87.5 62.8 612 0.53× 表12-7 ThoughtFold 与其他压缩方法的性能对比 关键发现： •精度保持：ThoughtFold 在压缩链长至 44% 的情况下，仅损失 0.4–0.7 个百分点的准确率（DeepSeek-R1 上）。与简 单截断相比，在相同或更低的链长下保留的准确率显著更高。 •有效压缩的界限：简单截断在 50% 链长时导致约 6–13 个百分点的准确率下降，说明无差别截断会切断关键的推理步 骤。ThoughtFold 的内省评分机制能有效区分核心步骤与冗余步骤。 •模型无关性：ThoughtFold 在两个不同规模、不同训练范式的模型上均展示了一致的压缩效能，表明内省折叠机制具 备跨模型的泛化性。 •链长压缩率的自适应性：复杂问题（AIME）上的压缩率（0.44×）略低于简单问题（GSM8K 上的 0.40×），这与直觉 一致，更难的问题需要保留更多的推理步骤。

12.2.8 消融实验

ThoughtFold 的关键消融实验揭示了各组件对最终性能的贡献，结果如表12-8 所示。 消融变体 GSM8K MATH500 链长 说明 完整 ThoughtFold 93.8 92.1 1246 完整方法 无内省评分（随机折叠） 87.2 83.5 1240 随机剔除步骤，链长对齐 无偏好学习（LLM 零样本评估） 91.5 89.0 1310 用 LLM 直接评估步骤而不经偏好学习微调 无重写器（仅步骤选取） 92.3 90.2 1180 跳过连接性重写，逻辑跳跃更明显 仅必要性评分 92.8 91.0 1280 仅按必要性一维评分，忽略新信息量与简洁性 仅简洁性评分 91.0 87.8 980 仅追求简洁（链长最短但准确率下降明显） 表12-8 ThoughtFold 消融实验 消融实验的核心启示： •内省评分是压缩的关键：随机折叠导致约 7–9 个百分点的准确率崩溃，证明有效的步骤筛选远非随机下采样可比。 •偏好学习比零样本评估更有效：经偏好学习微调的内省器比 LLM 的零样本评分在准确率上高出 2–3 个百分点，且评分 更稳定。 •多维度评分优于单一维度：仅按必要性或仅按简洁性评分各有所偏，前者倾向于保留过多步骤，后者倾向于过度压缩。 多维度联合评分找到了更好的帕累托边界。 •重写器的贡献不容忽视：跳过重写器导致约 1.5–2 个百分点的额外损失，说明步骤间的连贯过渡在某些推理任务上不可 省略。

12.2.9 与其他链压缩方法的全面对比

除了简单的截断，还有几种链压缩方法与 ThoughtFold 存在竞争关系，全面对比如表12-9 所示。 Token-level 蒸馏（Token-Level Distillation）：训练一个小型蒸馏器模型，将长推理链逐 token 映射为短推理链。类似 于机器翻译中的句子压缩，但专门针对推理链。其优势是推理时无需内省评分（蒸馏模型一次性生成精炼链），劣势是需 要额外的训练。 潜在推理（Latent Reasoning, Coconut, 2024）：将部分推理过程从显式 token 空间转移到隐向量空间进行。模型在连续 的潜在空间中执行推理步骤，仅在关键节点输出 token。这避免了 token 生成的开销，但牺牲了可解释性。 摘要式压缩（Summarization Compression）：将完整推理链作为输入，要求 LLM 对其进行摘要，生成精炼版本。这是 一种纯 prompt-based 方法（无需训练），但压缩质量受限于 LLM 的摘要能力。 维度 ThoughtFold Token-level 蒸馏 潜在推理（Coconut） 摘要式压缩 训练需求 内省器偏好学习 蒸馏模型训练 连续思维训练 无 推理时额外开销 评分+折叠(中) 无 极低 摘要(中) 可解释性 高（折叠过程透明） 中 低（潜在空间黑盒） 中 压缩率上限 0.3–0.6× 0.3–0.5× 0.1–0.3× 0.4–0.7× 精度保持 高（损失 < 1%） 中（损失 2–4%） 中（损失 3–5%） 低（损失 5–10%） 跨模型泛化 好 需要每模型训练 好 好 表12-9 链压缩方法的全面对比

12.2.10 折叠推理链的理论分析

从信息论的角度，ThoughtFold 可以被理解为对推理链进行有损压缩（Lossy Compression），其中失真（Distortion） 由准确率损失度量，码率（Rate）由链长度量。 内省评分机制实质上学习了一个重要性加权函数（Importance Weighting Function），将推理链的每步映射为一个保留 概率。在 Shannon 的率失真理论（Rate-Distortion Theory）框架下，最优压缩函数应满足：在给定的码率预算下最小 化失真。 ThoughtFold 的偏好学习过程可以被视为对真实重要性函数的经验估计。偏好对数据 (z , z ) 中的信号，正例的推理链 + − 具有更高的信息密度，通过排序损失传递给了内省器。 有趣的是，研究还发现了链长自正则化（Chain Length Self-Regularization）现象：当内省器被训练为偏好更简洁的推 理链后，基础模型本身在生成推理链时也倾向于变得更简洁。这暗示了内省偏好学习可能通过某种隐式的行为克隆机制影 响模型的生成分布。一种解释是：在 RL 训练（如 GRPO）中，折叠后的精炼推理链被用作正例参考，驱动模型学习到简 洁推理的策略。这一现象同时带来抑制冗余推理的额外收益，折叠可被视为长链冗余的一种预防机制。

12.3 长链推理权衡与危害诊断

推理链长度是思维链实践中最核心也最富争议的参数：长链推理在硬核数学基准上精度领先，短链推理则在保持高精度的 同时大幅压低成本。长链在带来增益的同时也引入有害延续（Harmful Continuation）问题，需要诊断与缓解。

12.3.1 长链推理与短链推理

长链推理（Long-CoT）指模型在生成最终答案前，产生超过 1000 tokens 的详细推理过程。其典型特征包括： •显式的多步推理分解（“Step 1: … Step 2: … Final Step: …”） •内置的自我验证与修正（“Wait, let me verify…”） •多路径探索（“If we try X… no, that fails. Let’s try Y…”） •完整的中间计算过程 代表模型： •DeepSeek-R1（2025）：通过大规模 RL 训练获得长链推理能力，推理链平均 2000–5000 tokens •Kimi k1.5（2025）：Moonshot AI 的长链推理模型，采用 Long2Short 蒸馏策略 •OpenAI o1/o3（2024–2025）：OpenAI 的推理模型系列，内部推理 token 数不对外暴露但据估计显著高于标准模型 短链推理（Short-CoT）指模型生成紧凑的推理过程（通常 < 500 tokens），或直接生成答案。其特征包括： •高度精炼的推理表达（每个推理步骤信息密度高） •有限的自我验证（或内化在模型参数中） •通常仅探索单一路径 •计算关键部分但省略非必要推导 代表模型： •GPT-4o（2024）：OpenAI 的旗舰多模态模型，推理简洁直接 •Claude 3.5 Sonnet（2024）：Anthropic 的高效推理模型 •Qwen 2.5-72B-Instruct（2024）：阿里云的指令微调模型

12.3.2 性能对比

以下数据综合了来自各模型公开报告、第三方评测以及社区复现的多项基准结果。需要指出的是，精确的比较受限于各评 测的 prompt 模板、采样参数、以及评估方法差异，以下数据应被视为量级参考而非精确排序。 长链与短链模型在 AIME 2024 上的表现如表12-10 所示。 模型 推理范式 AIME 2024 Acc. 平均推理 token 数 每正确题目的 token 成本 DeepSeek-R1 长链 79.2% 约3500 约4420 Kimi k1.5 (Long) 长链 77.5% 约3000 约3870 OpenAI o1 长链 74.4% 约(内部,不计数) N/A GPT-4o 短链 53.1% 约800 约1507 Claude 3.5 Sonnet 短链 49.2% 约600 约1219 Qwen 2.5-72B 短链 43.8% 约700 约1598 表12-10 AIME 长链与短链模型对比 在 MATH500 上的准确率与推理效率如表12-11 所示。 模型 推理范式 MATH500 Acc. 平均推理 token 数 推理效率 η DeepSeek-R1 长链 97.3% 约2500 0.0389 Kimi k1.5 (Long) 长链 96.8% 约2200 0.0440 OpenAI o1 长链 94.8% 约(内部) N/A GPT-4o 短链 86.2% 约500 0.1724 Claude 3.5 Sonnet 短链 84.1% 约400 0.2103 Qwen 2.5-72B 短链 82.5% 约450 0.1833 表12-11 MATH500 推理效率对比 在 GPQA Diamond（研究生级问答，物理/生物/化学）上的对比如表12-12 所示。 模型 推理范式 GPQA Diamond Acc. 平均推理 token 数 DeepSeek-R1 长链 71.5% 约2800 GPT-4o 短链 53.6% 约700 Claude 3.5 Sonnet 短链 51.9% 约550 Kimi k1.5 (Long) 长链 68.2% 约2500 表12-12 GPQA 长链与短链模型对比 在 Codeforces（竞赛编程）上的表现如表12-13 所示。 模型 推理范式 Codeforces Rating Pass@1 (Div2) 平均推理 token DeepSeek-R1 长链 约1800 68.4% 约4000 Kimi k1.5 (Long) 长链 约1750 65.2% 约3500 OpenAI o1 长链 约1673 60.1% 约(内部) GPT-4o 短链 约1200 42.8% 约900 Claude 3.5 Sonnet 短链 约1150 40.1% 约750 Qwen 2.5-72B 短链 约1100 37.5% 约850 表12-13 Codeforces 长链与短链模型对比 跨基准的核心模式清晰可见：长链推理在各级别难度的数学和科学推理上全面领先，领先幅度与任务难度正相关，在 AIME 这类高难度竞赛题上，长链模型的优势约 26–36 个百分点；在较基础的 MATH500 上，优势缩小到 11–15 个百分 点。

12.3.3 效率维度

推理链长度的增加伴随着三个维度的效率代价： Token 成本：设每次推理的输入 token 数为 C （问题本身），输出 token 数包含推理链 C 和最终答案 C 。总 API in think ans 成本为： $ = pin ⋅ Cin + pout ⋅ (Cthink + Cans ) 其中 p 和 p 为每 token 的输入/输出价格（输出价格通常为输入的 3–5 倍）。长链模型 C in out think ≫ Cans ，输出 token 成本 占据主导。各模型在 AIME 上的单题成本对比如表12-14 所示。 模型 输入价格/token 输出价格/token 典型每次推理成本(AIME) DeepSeek-R1 $0.55/M $2.19/M 约$0.0093/题 模型 输入价格/token 输出价格/token 典型每次推理成本(AIME) GPT-4o $2.50/M $10.00/M 约$0.0120/题 Claude 3.5 Sonnet $3.00/M $15.00/M 约$0.0140/题 表12-14 推理成本对比 注：DeepSeek-R1 的价格显著低于其他模型，因此尽管推理 token 数高出 4–5 倍，单题成本反而更低或相当。 首词元延迟（Time-to-First-Token, TTFT）：短链模型的 TTFT 通常为 0.3–1.0 秒，长链模型因需生成更长的推理链前缀， 典型的感知延迟更高（模型在生成推理链时用户通常需等待完整推理完成才能看到最终答案）。 吞吐量（Throughput）：在批处理场景下，一次推理的 token 数决定了单 GPU 的吞吐能力。设 GPU 生成速度恒为 v tokens/s： v QPS = Cthink + Cans 长链模型的 QPS 与其推理链长度成反比。对于 C = 3000 的长链模型，在 100 tokens/s 的生成速度下，QPS 约为 think 100/3100 ≈ 0.032；对于 C = 500 的短链模型，QPS 约为 100/600 ≈ 0.167，即约 5 倍的吞吐差异。 think

12.3.4 Long-to-Short 蒸馏

Kimi k1.5（Moonshot AI, 2025）引入的 Long2Short 蒸馏技术是平衡长链推理精度与短链推理效率的一个关键工程创 新。其核心流程如下：

1. 长链教师训练：使用大规模 RL（如 GRPO 或 PPO）训练一个长链推理教师模型 M 。该模型被训练为生成高质量的 long 长推理链并追求高精度。训练数据包含以数学和代码为主的复杂推理任务。
2. 推理链长度标注：对于训练集中的每个问题 Q ，M 生成多条推理链（温度采样，m ≥ 5），对每条推理链标注正确答 long 案是否正确，并标注推理链的必要步骤（可由人工或自动方法标注）。 i
3. 长度感知的偏好对构建：对于问题 Q ，存在多条正确推理链时，构建偏好对 (z ≻ z )，较短的正确推理链被标注 short long 为更优。这一偏好信号的核心理由是：在给定相同正确性的前提下，更短的推理链具有更高的信息密度和更低的成本。 i
4. 蒸馏微调：使用这些长度感知的偏好对，通过 DPO（Direct Preference Optimization）或其他偏好对齐方法微调学生 模型 M ： short πθ (zw ∣x) πθ (zl ∣x) LDPO (θ) = −E(x,zw ,zl )∈D [log σ (β log − β log )] πref (zw ∣x) πref (zl ∣x) 其中 z 为较短的正确推理链（winner），z 为较长的正确推理链或错误推理链（loser）。 w l Kimi k1.5 的 Long2Short 蒸馏成果如表12-15 所示。 配置 AIME 2024 MATH500 平均推理 token 与教师链长比 （教师） Mlong 77.5% 96.8% 约3000 1.00× M v1（蒸馏，λ = 1.0） short 74.2% 94.5% 约1200 0.40× M v2（蒸馏，λ = 0.5） short 75.8% 95.6% 约1800 0.60× M v3（蒸馏，λ = 0.1） short 76.5% 96.1% 约2400 0.80× 其中 λ 为长度偏好的强度参数，λ 越小越倾向于保留精度。 表12-15 Kimi k1.5 Long2Short 蒸馏的效果 这一实验揭示了长链推理中的 精度—长度帕累托边界：推理链长度可以在 40%–80% 的教师链长范围内调节，精度损失 控制在 1–3 个百分点。这为实际部署提供了一个灵活的选择谱，成本敏感的部署可选择高压缩率（λ = 1.0，40% 链长）， 精度优先的部署可选择低压缩率（λ = 0.1，80% 链长）。

12.3.5 何时使用长链与短链

基于上述数据与分析，以下决策框架可指导实际应用中长链与短链推理的选择： 优先使用长链推理的场景： •高难度数学/科学推理（AIME、MATH Hard 级别）：长链的精度优势可达 20–30%，且错误答案的成本（如影响决策质 量）通常远大于推理 token 成本 •需要高度可解释性的决策（医疗诊断辅助、法律推理）：长链的可追溯性允许人工审查推理过程 •竞赛级别的代码生成（Codeforces Div1/2）：复杂算法的正确实现通常需要多步推理 •精度绝对优先的离线批处理（如研究评测、训练数据生成）：延迟和吞吐非关键约束 优先使用短链推理的场景： •在线实时服务（客服、辅助写作）：TTFT 和吞吐是关键约束 •中等难度及以下的推理任务（日常问答、简单数学、代码补全）：长链的额外精度微乎其微 •高频 API 调用（搜索增强生成 RAG 中的查询改写）：累积 token 成本可观 •延迟敏感的交互体验（对话、实时协作）：用户等待长推理链的体验差 混合策略： 一个日渐普及的实践是问题难度自适应路由：使用一个轻量级分类器或 LLM 自身判断问题难度，将难题路由到长链模 型，简单题路由到短链模型。这一策略可在保持总体精度的同时大幅降低平均推理成本。 设路由器对问题 Q 预测的难度为 diff(Q) ∈ [0, 1]，路由策略为： Model(Q) = { Mlong if diff(Q) ≥ τ otherwise Mshort 通过在 GSM8K、MATH500 和 AIME 三个难度层级的混合测试集上评估，当设置 τ = 0.7（即仅约 15% 的问题被路由到长 链模型）时，路由策略可以达到： Accrouter ≈ 0.95 ⋅ Acclong + 0.05 ⋅ Accshort 而平均推理成本约为纯长链方案的 35–40%。

12.3.6 推理链长度的经济学

将推理链长度选择纳入经济学框架，定义推理的边际价值（Marginal Value of Reasoning）： V (k) = ΔAcc(k) ⋅ Utilitycorrect − c ⋅ k 其中 k 为推理链 token 数，ΔAcc(k) 为额外推理带来的准确率增益，Utility 为正确答案的效用，c 为每 token 的成 correct 本。当 V (k) = 0 时达到最优推理链长度。 ′ 在 AIME 级别任务上，Utility 通常很高（竞赛得分、研究发现等），此时最优 k 较大；在 GSM8K 级别任务上，短推 correct 理链就能达到 > 90% 准确率，继续增加链长的 V (k) 为负（边际价值递减至零以下）。 ′ 这一分析的实践推论是：不存在全局最优的推理链长度，最优长度取决于任务的精度价值与 token 价格。随着 API 价格 持续下降，长链推理的经济边界会向右移动（更多场景倾向于长链）；但同时，Long2Short 蒸馏和 ThoughtFold 等压缩 技术也在向左推动这个边界。

12.3.7 模型规模与最优链长的交互

模型的参数规模与最优推理链长度之间存在一个非平凡的交互关系。直觉上，更大的模型（具备更强的单步推理能力）可 能需要更短的推理链以达到相同的精度水平；而较小的模型则需要更长的推理链来弥补单步推理能力的不足。 定义规模—链长交互函数： kopt (N ) = arg max [Acc(N , k) − λ ⋅ k ] k 其中 N 为模型参数量，k 为推理链长度。在固定精度目标 Acc target 下，不同规模模型所需的最优链长近似满足： kopt (N ) ∝ N −γ 其中 γ ≈ 0.15–0.25。这一定量关系表明：将模型规模从 7B 扩大到 70B（10 倍），在相同精度目标下可将最优推理链长压 缩约 30%–40%。 这一关系的一个实践启示是：推理模型的总持有成本（TCO）应在模型规模与推理链长之间做联合优化，而非孤立地看其 中任何一个维度。一个 70B 参数的短链模型与一个 7B 参数的长链模型可能在特定的精度—成本帕累托边界上形成竞争。

12.3.8 潜在推理

除了显式的长链和短链推理，2024 年以来出现了一个新的范式——潜在推理（Latent Reasoning），它颠覆了推理必须显 式生成 token 的基本前提。 Coconut（Continuity of Thoughts, 2024）是这一范式的代表性工作。其核心思路是：将部分推理过程从 token 空间转 移到模型的连续隐向量空间中执行。具体而言，模型在生成推理链时，可以选择在特定位置输出一个特殊的 token，该 token 的隐向量表示被直接反馈到模型的下一层输入，而不经过 embedding 层的 token 化/去 token 化回 路。 在潜在推理模式下，模型可以在脑中完成若干步推理（消耗隐空间的 FLOPs 而非显式的 token 生成），仅在到达关键里程 碑时输出显式 token。这实现了推理深度与推理 token 成本的解耦： Reasoninglatent = DeepThink(Compute, LowTokens) Coconut 的初步实验显示，在逻辑推理任务上，潜在推理可以在近似短链推理的 token 成本下达到接近长链推理的精 度，对比如表12-16 所示。 方法 ProntoQA Acc. ProofWriter Acc. 推理 token 数 短链 CoT 82.1% 74.5% 约400 长链 CoT 93.5% 89.2% 约2500 潜在推理（Coconut） 91.2% 86.8% 约500 表12-16 潜在推理与显式 CoT 对比 潜在推理的局限包括：训练复杂（需要特殊的连续思维训练方案）、可解释性下降（潜在推理步骤不可读），以及对推理步 数缺乏显式控制（模型可能想太多或想太少）。尽管如此，它为推理深度与 token 成本的权衡提供了一个全新的解题思 路，可能成为链压缩技术的替代路线。

12.3.9 有害延续的定义与发现

长链推理在带来显著精度增益的同时，也引入了一个被忽视的问题：有害延续（Harmful Continuation），即推理链中某 些部分的生成不仅无助于正确答案的获得，反而可能误导后续推理、浪费计算资源，甚至降低最终答案的质量。2026 年 的《Diagnosing Harmful Continuation in Long-CoT Traces》一文首次系统地对这一现象进行了分类学和实证研究。 有害延续是指在长程推理链中，模型生成了对正确答案无贡献甚至负贡献的推理 token。与普通的冗余不同，有害延续满 足三个条件： •可诊断性（Diagnosable）：外部评估者可以判定该段推理是不正确或不必要的 •因果伤害（Causal Harm）：移除该段推理后，模型在其余部分的推理基础上可以生成正确或更优的答案 •非孤立性（Non-Isolation）：该段推理出现在推理链的中间，既不是开头的理解性陈述，也不是结尾的格式性收尾 一个典型的诊断实验形式是：给定一条长推理链 z = (z , z , … , z ) 及其最终答案 A，对每个步骤 z ： k i •构造截断链 z = (z , … , z , z , … , z ) −i 1 i−1 i+1 k •让模型在 z 的基础上续写答案 A −i −i •比较 A 与 A 的正确性 −i 如果 A 正确而 A 不正确，则 z 被判定为有害延续。如果两者都正确但 z 的移除使后续推理更高效（更短且正确），则 −i z 被判定为中性冗余（而非严格有害）。 i i i

12.3.10 有害延续的分类学

经过对 DeepSeek-R1、Kimi k1.5 等长链模型输出的系统性分析，有害延续可以分为以下主要类型： 类型一：推理循环（Reasoning Loops） 模型进入一个重复的推理循环，在相似的状态之间振荡而不产生实质性进展。 典型模式： Step 5: Need to compute x. Since a + b = 10, x = 10/2 = 5. Step 6: Let me reconfirm. a + b = 10, x = 10/2 = 5. Step 7: Wait, I need to compute again. a + b = 10, x = 10/2 = 5. Correct. Step 8: So x = 5. Let me verify with another method. If a=6, b=4, then a+b=10, x=5. Correct. 在这个例子中，Step 6–8 没有引入任何新信息或新的验证角度，仅仅是机械重复。诊断实验表明这些步骤的平均危害率 为 8.2%（即移除后准确率反而提升的情况占比）。 类型二：链中幻觉（Hallucinations in Chains） 模型在推理过程中无中生有地创造了不存在的事实、公式或约束条件。 典型模式： Given: A triangle has sides of length 3 and 4. Step 3: By Pythagoras, the third side is sqrt(3² + 4²) = 5. Step 4: Since the sum of interior angles is 180°, and this is a right triangle... 如果原题未指定这是直角三角形，Step 3 就构成了链中幻觉，模型错误地假设了直角条件，该假设可能破坏后续所有推 理。链中幻觉的危害率显著高于推理循环，平均达 18.5%。 类型三：验证失败（Verification Failures） 模型的自我验证逻辑本身出错，它宣称某个推理步骤正确，但实际上该步骤包含错误。 Step 7: Computing gives y = 12. Step 8: Verify: Substitute y=12 into 3y - 6 = 30. 3×12 - 6 = 36 - 6 = 30. Correct! ✓ 如果原方程为 3y − 6 = 24（而非 30），则 Step 8 的验证本身也基于错误的前提，形成错误验证确认错误的双重失误。验 证失败的危害率约为 12.0%。 类型四：灾难性转向（Catastrophic Divergence） 模型在某个中间步骤偏离了正确的推理方向，并且后续推理持续沿着这一错误方向展开，最终导出完全错误的结论。 与普通错误（可能被后续自我修正捕获）不同的是，灾难性转向的特征是：偏离后的推理链逻辑上自洽，但前提错误，且 模型未能在后续步骤中识别这一偏离。此类有害延续的持续时间通常最长（平均 8–15 个推理步骤），危害率最高，约 25.3%。 类型五：过度概率分配（Over-Confidence Cascade） 模型在推理早期对某个中间结论表现出过度自信，排除本应被考虑的其他可能路径。 Step 4: Obviously, the only feasible solution is using a quadratic equation. (But linear approximation is also a reasonable alternative here) Step 5: Based on the above quadratic, start computing the discriminant... 这种“过早闭合”（Premature Closure）在客观上并未出错（二次方程方案可能确实得出了正确答案），但其隐含的机会 成本是放弃了计算成本更低或洞察更深的替代方案。其危害率为 6.7%（以更优推理路径被忽视为标准）。五种类型及其危 害率如图12-7 所示。 Typology of Harmful Continuations Reasoning Loops Hallucinations in Chains VerifyFailed Catastrophic Divergence Over-Confidence Cascade Verification Failures Harm rate 8.2% Harm rate 18.5% Harm rate 12.0% Harm rate 25.3% Harm rate 6.7% Downstream answer qualit y degradation 图12-7 有害延续的五种类型及其危害率

12.3.11 有害延续的实证分布

在 DeepSeek-R1 的 AIME 推理输出（1000 条采样推理链，temperature=0.7）中，有害延续的发生率统计如表12-17 所 示。 统计项 数值 包含至少一段有害延续的推理链比例 23.4% 平均每条链的有害延续段数 1.8 段 有害延续 token 占总推理 token 的比例 18.2% 有害延续导致答案从正确变为错误的占比 11.5% 有害延续导致推理链变长但答案仍正确的占比 6.7% 表12-17 有害延续的统计特征 这意味着在大约 1/4 的长链推理中，存在可诊断的有害内容；在超过 1/10 的推理中，有害延续直接导致了答案错误。这 一比例强调了有害延续不是一个边缘现象，而是一个影响长链推理可靠性的系统性问题。 问题难度与有害延续发生率之间存在正相关关系。在 AIME（高难度）上，有害延续发生率为 23.4%；在 MATH500（中 高难度）上，这一比例为 17.8%；在 GSM8K（基础难度）上，仅为 6.3%。这表明问题越难、模型越不确定，有害延续 越容易出现，这可能与模型在高难度问题上倾向于过度推理以弥补不确定性有关。

12.3.12 有害延续的检测方法

诊断有害延续需要可靠且高效的检测方法。目前已形成以下检测工具箱： 方法一：截断实验（Truncation Experiment） 逐一移除推理步骤后观察答案变化，是判定步骤是否构成有害延续的最直接方式。这是检测的黄金标准，但成本高昂，每 条推理链需要 k 次额外的 LLM 调用（k 为步骤数）。对于研究分析可接受，对于实时检测不可行。 方法二：内省评分检测（Introspective Detection） 借用 ThoughtFold 的内省器，将评分低于阈值 τ 的步骤标记为有害延续候选。该方法的检测召回率约为 72%（相比截断 实验），精确率约为 58%。其主要局限是：内省器主要针对冗余训练，对链中幻觉和灾难性转向（逻辑自洽但前提错误） 的敏感度不足。 方法三：困惑度异常检测（Perplexity Anomaly Detection） 在有害延续段中，模型的 token-level 困惑度（Perplexity）通常表现出异常模式： •推理循环：困惑度急剧下降（模型在重复熟悉的内容，高度自信但无信息增益） •链中幻觉：困惑度通常在幻觉段的起始处出现尖峰（模型生成了意料之外的内容） •灾难性转向：困惑度在转向点后持续下降（模型自信地沿着错误路线推理） 通过滑动窗口监控困惑度的时间序列并检测异常点，可以在推理生成过程中实时标记潜在的有害延续。该方法的检测延迟 为 O(token)（与生成同步），召回率约 65%，精确率约 45%。 方法四：语义一致性检查（Semantic Consistency Check） 使用一个独立的验证模型（或同一模型的不同采样）检查推理步骤之间是否存在语义跳跃或逻辑矛盾。该方法的精确率较 高（约75%），但计算成本也高（需要额外的 LLM 调用）。

12.3.13 缓解策略

OThink-R1（2026）提出了一种在线（推理时）缓解有害延续的机制——快慢切换（Fast/Slow Switching），灵感来源于 Kahneman 的“系统一/系统二”双过程理论。 核心机制如下： 快速模式（Fast Mode）：模型以标准自回归方式生成推理 token，每个 token 附带该位置 token 是否会成为有害延续起 点的概率估计 p 。p 由一个轻量级的二分类器在模型隐藏状态上实时预测。 harmful harmful 慢速模式（Slow Mode）：当 p 超过阈值 θ 时，模型切换到慢速模式。在慢速模式下： harmful

1. 暂停当前的贪婪/采样生成
2. 从当前位置向前回溯（Backtrack）b 步（b 通常为 2–5 步）
3. 在一个更小的温度（τ = 0.3）下重新生成后续推理
4. 如果重新生成的路径仍未通过有害检测，进一步降低温度到接近贪婪解码（τ = 0.1）
5. 如果经过 r 次尝试（r 通常为 2–3）仍无法生成健康路径，则提前终止推理链，以当前最佳状态直接生成答案 快慢切换的额外推理开销由切换频率和重试次数决定。在 AIME 上的实测数据如表12-18 所示。 有害 准 额外 配置 延续 确 推理 发生 率 开销 率 基线（无检测） 23.4 79 1.00 % .2% × OThink-R1 ($\theta=0.3$, b = 3, r = 2$)∣8.1∣OT hink − R1($θ = 0.2$,b=5,r=3$) 4.7 82 .0 1.35 % % × OThink-R1 ($\theta=0.1$, b = 5, r = 3$)∣2.3 ∗ ∗表12 − 18OT hink − R1快慢切换的效果与开销 ∗ ∗关键发现： − ∗ ∗ 适度的快慢切换即可大幅降低有害延续 ∗ ∗：\theta=0.3的保守设置已将有害延续从23.4 − ∗ ∗ 存在精度—开销的非单调关系 ∗ ∗：\theta=0.2提供了最高的准确率（82.0\theta=0.1$）反而略有下降， 因为过度保守的切换可能截断正常的推理探索 •有害延续检测本身带来 2.1 个百分点的净精度增益（81.5% vs 79.2%），表明合理的检测和干预不仅能减少浪费，还能 提升答案质量

12.3.14 训练数据管理

除了推理时的检测和干预，在 RL 训练阶段管理数据的质量同样可以降低有害延续的基线发生率。管理手段包括数据过 滤、偏好信号与采样温度三个方面： •推理轨迹的质量过滤：在 GRPO 等 RL 训练方法中，模型生成大量推理轨迹作为训练样本。对轨迹进行有害延续检测并 过滤低质量轨迹，可以提升训练数据的信号质量。研究表明，过滤 20% 最低质量的轨迹（以有害延续含量排序）可使 下游模型的平均有害延续发生率降低约 30%。 •偏好信号的精细化：在标准 RL 训练中，偏好信号通常是二元（正确/错误）或连续的（reward score）。引入推理简洁 度作为偏好维度，在相同正确性的前提下偏好更简洁（且较少有害延续）的推理链，可以引导模型学习更健康的推理模 式。这与 ThoughtFold 的偏好学习形成了互补。 •多样性与一致性的平衡：在 RL 训练的采样阶段增加温度可以增加推理多样性，但也增加了有害延续的概率。实践中采 用的平衡策略包括：(a) 在 RL 训练早期使用较高温度鼓励探索，(b) 随着训练推进逐步降低温度以引导收敛，(c) 在生成 训练数据时采用分层温度，简单 token 用高温（保持多样性），关键决策 token 用低温（减少有害偏离）。

12.3.15 有害延续对下游 RL 训练的影响

有害延续不仅是推理时的问题，它还通过 RL 训练数据对模型的长期行为产生级联效应。 奖励信号的失真：如果训练数据中的推理链包含大量有害延续，模型可能将长推理链与高奖励之间建立伪关联（spurious correlation）。这是因为：(a) 正确推理链平均更长，(b) 长推理链中包含更多自我验证步骤，(c) RL 的奖励信号可能将长 度本身（而非推理质量）奖励化，导致模型学习生成不必要的冗长输出。 这一现象常被称作奖励黑客（Reward Hacking）的长度版本，模型通过增加无害但不必要的推理 token 来提高奖励（在 部分 reward model 中，长度与得分存在正相关），而非真正提升推理质量。 训练收敛的延迟：包含大量有害延续的训练数据增加了信号噪声比（Signal-to-Noise Ratio, SNR）。模型需要更多的训练 步数才能从噪声中提取出真正有效的推理信号。实验数据表明，过滤后训练在相同步数下的准确率提升比未过滤训练快约

1.3 倍。

能力坍缩（Capability Collapse）的风险：在极端情况下，如果 RL 训练的生成分布中出现有害延续的正反馈循环，即模 型生成有害延续 → RL 因（伪相关）给予正奖励 → 模型更倾向于生成有害延续，可能导致模型在特定任务上的能力坍 缩，准确率非单调地随训练步数下降。 这一风险在 2025–2026 年的 RL 训练中被更多研究者注意到，并催生了 OThink-R1 这类在线干预方法以及 ThoughtFold 离线链压缩方法。两者结合，即训练阶段的链压缩 + 推理阶段的快慢切换，构成了目前最完整的应对有害延续的解决方 案。

12.4 强化学习推理基础

大型语言模型的推理能力并非仅靠监督微调（Supervised Fine-Tuning, SFT）即可习得，强化学习（Reinforcement Learning, RL）是推理能力涌现的必要非充分条件。

12.4.1 从 SFT 到 RL

监督微调的本质是行为克隆（Behavioral Cloning）：模型在给定问题-答案对 (x, y) ∈ D 上最大化对数似然： SFT LSFT (θ) = −E(x,y)∼DSFT [∑ log πθ (yt ∣ x, y<t )] T t=1 SFT 的根本局限在于分布偏移（Distribution Shift）与被教条化的教师强制（Teacher Forcing）范式： •曝光偏差（Exposure Bias）：训练时模型看到真实前文，推理时看到自己生成的 token，误差逐级积累； •答案导向 vs 过程导向：SFT 告诉模型正确答案是什么，不告诉如何探索才能找到正确答案； •数据覆盖困境：对于复杂推理任务（如 AIME 2024 数学竞赛题），高质量思维链标注的边际成本极高，且静态数据集无 法覆盖所有探索路径。 RL 通过奖励信号（Reward Signal）直接优化策略的期望回报，使模型在探索中自我发现有效的推理模式： LRL (θ) = Ex∼D,y∼πθ (⋅∣x) [R(x, y)] − β ⋅ DKL (πθ ∥πref ) 其中 R(x, y) 为奖励函数，KL 散度约束防止模型偏离参考策略过远。关键差异在于：RL 优化生成分布，SFT 优化条件概 率，前者鼓励探索和多样性（exploration），后者鼓励模仿和一致性（imitation）。两种范式的训练流程对比如图12-8 所 示。 RL Path Environment and reward R Policy sampling y ~ π_θ Reward Calculation R(x, y) Policy Gradient ∇J = E[R·∇log π] KL Constraint Prevent deviation from ref erence policy RL Model Strong exploration, self-ev olving SFT Path Labeled dataset D Cross-Entropy Loss L = -Σlog π(y_t|y_ SFT Model Strong imitation, weak gen eralization 图12-8 SFT 与 RL 的训练范式对比

12.4.2 结果奖励与过程奖励

奖励函数 R 的设计是 RL for Reasoning 的第一性原理问题。根据粒度，奖励可分为两类： 结果奖励模型（Outcome Reward Model, ORM）仅在序列终止时刻给予标量奖励： 若最终答案正确 RORM (x, y1:T ) = { 否则 ORM 的优势在于简洁，不需要中间标注，对于数学、代码等有明确正确/错误判定的领域天然适用。其劣势在于信用分配 （Credit Assignment）的模糊性：40 步推理链中第 15 步的错误无法被单独惩罚，导致学习信号稀疏。 过程奖励模型（Process Reward Model, PRM）在每一步提供中间奖励： RPRM (x, y1:t ) = rϕ (x, y1:t ) ∈ [0, 1] PRM 的训练需要过程标注数据（每一步是否正确），在数学推理领域可通过蒙特卡洛展开（Math-Shepherd, Wang et al. 2024）自动构造。PRM 提供密集学习信号，但面临反馈一致性（每一步的评估标准需统一）和奖励累积偏差（早期错误 惩罚可能不当抑制探索）的挑战。两类奖励模型的对比如表12-19 所示。 特性 ORM PRM 奖励密度 稀疏（仅在终止） 密集（每步） 标注成本 低（仅需答案） 高（需过程标注） 信用分配 模糊 精确 适用领域 数学/代码（可验证） 开放域推理 拓展可靠性 稳定 需 RM 校准 代表工作 DeepSeek-R1, Kimi k1.5 OpenAI o1 (推测), Math-Shepherd 表12-19 ORM 与 PRM 对比

12.4.3 可验证奖励与软奖励

从奖励的来源（信号性质）划分： 可验证奖励（Verifiable Rewards）由确定性的规则引擎生成，无奖励模型（Reward Model, RM）： Rverifiable (x, y) = frule (y, y∗ ) ∈ {0, 1} 典型包括： •数学答案比对（提取 \boxed{} 内的表达式，与参考答案等价判定）； •代码执行结果比对（单元测试通过 / 编译成功 / 输出匹配）； •LeetCode 风格的 judge 系统。 优势：无奖励攻击（reward hacking）风险（规则不可被模型讨好）、零维护成本、信号无偏。局限：仅适用于含确定性 答案的领域。这类可验证奖励正是推理模型能规模化的前提，它不依赖人工标注，可以无限生成训练样本；DeepSeek- R1 在 RL 阶段混合了准确率奖励与格式奖励，前者驱动推理能力，后者约束输出结构。 软奖励（Soft Rewards）由神经网络 RM 或人类偏好（RLHF）给出： Rsoft (x, y) = RMϕ (x, y) ∈ [0, 1] 优势：适用于创意写作、摘要等开放域任务。劣势：RM 本身需要持续训练和校准；奖励攻击风险（模型学会产生 RM 偏 好而非人类偏好的输出）；Inverse Scaling 问题（RM 在某些指标上与人类判断背道而驰）。奖励信号的分类体系如图12-9 所示。 Verifiable Rewards Learned Rewards Math answer comparison Code execution verificatio Rule constraint verification Outcome RM Process RM Human Preference n ORM PRM RLHF R ∈ {0, 1} R ∈ [0, 1] Policy π_θ 图12-9 奖励信号的分类体系

12.4.4 冷启动与自举训练

RL for Reasoning 面临的核心工程困境——冷启动问题（Cold-Start Problem）：未经 SFT 的基模型（Base Model）在 RL 训练初期几乎无法碰触到正奖励，导致梯度信号为零，策略不更新。 三种解决策略已收敛为事实标准： •SFT 热启动（Warm-Start via SFT）：先用少量高质量思维链 SFT 数据（几千至万条）使模型掌握基本的推理格式和正 确的求解策略。DeepSeek-R1 使用约 5K 条思维链数据冷启动，Kimi k1.5 使用约 10K 条。关键设计在于：SFT 数据需 要覆盖多样化的推理模式，而非单一模板，否则模型会在 RL 阶段被锁死在次优模式。 •课程学习（Curriculum Learning）：从简单任务开始 RL 训练，逐渐提升难度。OpenAI o1 (据推测) 按 3-4 个难度梯度 组织训练数据：基础算术 → 竞赛数学 → 证明题。 •格式奖励引导（Format Reward Shaping）：在早期阶段额外奖励模型输出特定的推理格式（如 ^ 标记、 \boxed{} ） ，无需正确性。一旦模型掌握了展开推理链再给出答案的格式，正确性奖励才开始主导梯度。 各启动策略的对比如表12-20 所示。 策略 收敛速度 最终性能 风险 SFT 热启动 ★★★★★ ★★★★☆ 过度模仿 SFT 风格 课程学习 ★★★☆☆ ★★★★★ 课程设计需经验 格式奖励 ★★★★☆ ★★★★☆ 格式过拟合 基线（无策略） ★☆☆☆☆ — 训练不收敛 表12-20 推理训练启动策略对比

12.4.5 RL 推理的算法分类学

2024-2026 年涌现的 RL Reasoning 算法可按三个正交维度分类： 维度一：优势估计（Advantage Estimation） •Critic-based：PPO 类的 GAE（Generalized Advantage Estimation），需维护价值函数网络 •Group-based：GRPO 类的组内相对比较，无需 Critic •Reweighted：GRAIL 类的基于奖励置信度重加权，介于 Critic 与 Group 之间 维度二：信用分配粒度（Credit Assignment Granularity） •Token-level：每个 token 获得独立的优势信号（PPO with GAE） •Segment-level：推理段（如一步推理）整体获得奖励，段内均匀分配（DAPO, Temporal Scheduling） •Sequence-level：仅最终奖励，序列内统一分配（早期 GRPO） 维度三：环境设计（Environment Design） •Offline：使用静态数据集的预设奖励 •Online：实时与环境交互，奖励由规则引擎动态判定 •Self-play：模型与自己博弈，奖励来自博弈结果 三维分类体系如图12-10 所示。 RL for Reasoning Advantage Estimation Credit Assignment Environment Design Advantage Estimation Credit Assignment Environment Design Critic-based Group-based Reweighted Token-level Segment-level Sequence-level Offline Online Self-play PPO/GAE GRPO/DAPO GRAIL Token-wise policy gradient Temporal Scheduling Outcome-only GRPO Static dataset Real-time rule engine eval Game generates rewards uation 图12-10 RL for Reasoning 的算法分类学

12.4.6 宽松对齐与深度 RL 推理

理解 RL for Reasoning 需首先区分两个常被混淆的概念： 宽松对齐（Relaxed Alignment）的目标是使模型的输出风格符合人类偏好（礼貌、有帮助、无毒害），使用 KL 约束防止 RLHF 后的“对齐税（Alignment Tax）”过大。核心工具是相对较小的 KL 惩罚系数（β ≈ 0.01 − 0.1），仅对输出层进行 微调。代表性工作是 InstructGPT（Ouyang et al. 2022）。 深度强化学习推理（Deep RL for Reasoning）的目标是使模型习得全新的认知能力，包括自发的推理链分解、多步验 证、回溯纠错。核心要求是足够大的 KL 范围（β ≈ 0.001 甚至 0）和充分的探索空间。代表性工作是 DeepSeek-R1 （Guo et al. 2025）和 Kimi k1.5（Team Kimi, 2025）。 两者的本质差异在于：对齐改变表达方式，RL for Reasoning 改变思维方式。这不是程度差别，而是质差。具体对比如表 12-21 所示。 维度 宽松对齐（RLHF/DPO） 深度 RL 推理（GRPO/PPO） 目标 风格偏好对齐 认知能力涌现 KL 约束 强（β ≥ 0.01） 弱或零（β ≈ 0.001） 奖励模型 神经网络 RM 主导 规则验证主导 探索量 低（微调） 高（从基模型启动） 训练步数 103 − 104 105 − 106 能力变化 边际（< 5% 基准提升） 质变（AIME 从 15.6% → 79.8%） 代表 InstructGPT, LLaMA-Chat DeepSeek-R1, Kimi k1.5 表12-21 宽松对齐与深度 RL 推理对比

12.4.7 可验证奖励的局限

尽管可验证奖励在数学和代码领域取得了显著成功，但其存在三个根本局限： •领域限制：可验证性要求存在确定性判定函数 f ，这在创意写作、开放对话、策略分析等领域不成立。DeepSeek- rule R1 的论文明确提到：纯 RL 训练的模型在可验证领域外的泛化能力有限，仍需 SFT 数据微调以提升可读性和多语言能 力。 •正确性不等于推理质量：两个答案可能同样正确，但推理路径质量差异巨大。一个简洁优雅的证明和一个冗长曲折的证 明在可验证奖励下获得相同的 +1 信号，RL 不能区分它们。这导致模型倾向于过度推理（Overthinking），生成不必要 的长链以确保正确。 •正确性信号太弱：对于极难问题（如 IMO 级别），即使是经过充分 RL 训练的模型也只有 10-20% 的成功率，导致绝大 多数 rollout 为 0 奖励，学习信号极度稀疏。这可由组合合成与时间信用分配方法系统解决。

12.4.8 GRPO 算法

组相对策略优化（Group Relative Policy Optimization, GRPO）是 DeepSeek-R1 论文（Guo et al. 2025）提出的核心 RL 算法。其设计动机直指 PPO 在 LLM reasoning 场景的痼疾，维护一个与策略网络等规模的价值函数（Value Function / Critic）带来翻倍的内存开销和训练不稳定，而 LLM 训练中恰好存在天然的参考基准替代 Critic：同一问题的多个采样 回答本身构成了一组可比较的样本。 标准 PPO（Schulman et al. 2017）的优势估计依赖广义优势估计（GAE）： ∞ AGAE t = ∑(γλ)l δt+l , δt = rt + γV (st+1 ) − V (st ) l=0 其中价值函数 V (s ) 通过一个与策略网络 π 并行训练的 Critic 网络 V 给出。对于 LLaMA-70B 级别的模型，这意味着： t θ ϕ •Critic 网络参数量 ≈ 策略网络 = 70B； •优化器状态（Adam 的 m 和 v ）再翻倍； t t •总计内存开销约为策略的 3 倍。 GRPO 的核心洞察：如果你对同一问题有 G 个独立采样，它们的平均奖励就是对这个问题难度/期望奖励的自然估计，天 然扮演了 V (s) 的角色，且无需任何额外参数。直觉上，PPO 的价值模型是在「猜测某状态下回答的平均好坏」，而 GRPO 直接用一组真实采样回答的均值来替代这个猜测，把估计误差转化为组内样本量 G 的控制问题。

1. GRPO 的数学形式 设对每个输入问题 x，从当前策略 π 采样 G 个独立回答 {y , y , …, y }： θold (1) (2) (G) y(g) ∼ πθold (⋅ ∣ x), g = 1, 2, …, G

对每个回答计算奖励 R = r(x, y )，组内归一化得到组相对优势（Group Relative Advantage）： (g) (g) (g) − μ G G R 1 1 A^(g) = ∑ R(i) , ∑(R(i) − μR )2 R , μR = σR = σR G G i=1 i=1 其中 μ 是组内奖励均值，σ 是组内奖励标准差（使用有偏估计，1/G 而非 1/(G − 1)）。组内归一化实现了自动的基线校 正：如果一个问题极难，所有 G 个回答奖励都低，归一化后仍是零均值，高奖励样本的相对优势为正，鼓励策略朝该方 R R 向更新。 GRPO 的目标函数为： G Tg 1 1 LGRPO (θ) = Ex,{y(g) }Gg=1 ∑ ∑ min (rt(g) (θ)A^(g) , clip(rt(g) (θ), 1 − ϵ, 1 + ϵ)A^(g) ) − β ⋅ DKL (πθ ∥πref ) G Tg g=1 t=1 其中： •r (θ) = (g) t 是逐 token 的概率比； πθ (yt ∣x,y<t ) (g) (g) πθold (yt ∣x,y<t ) (g) (g) •clip(⋅, 1 − ϵ, 1 + ϵ) 是 PPO 式裁剪（ϵ 通常取 0.2）； •βD (π ∥π ) 是 KL 散度惩罚项，防止策略漂移。 KL θ ref GRPO 与 PPO 的关键差异：优势 A^ 是 sequence-level 的（整个回答共享同一个组相对优势），而非 PPO 的 token- (g) level。这意味着在一个 T = 500 token 的回答中，所有 500 个 token 的策略梯度方向相同，这可能稀释关键 token 的梯 度信号（事后被时间信用分配方法 Temporal Scheduling 改进）。两者的优势估计流程对比如图12-11 所示。 g GRPO Question x Sample G responses y^(1) ... y^(G) Group normalization  = (R-μ)/σ Unified advantage All share  PPO Question x Sample 1 response y ~ π_old Critic V computation Per-token advantage A_t Policy Gradient ∇ log π · A_t 图12-11 PPO vs GRPO 的优势估计流程对比 2) GRPO 的优势分析 优势一：无 Critic 架构 •内存节省：消除价值网络及其优化器状态，整体内存减少约 60-65%；由于无须训练 Critic，GRPO 比 PPO 节省约 3 倍 的 RL 训练显存，使大规模 RL 在 DeepSeek-V3 这类 MoE 模型上成为可行选项； •简化训练管线：PPO 中 Critic 的不准确估计是 RLHF 失败的主要来源，GRPO 借助样本统计（组内均值）天然避免了 Critic 的估计偏差和发散的固有问题。 优势二：组内归一化的自适应性 •组内均值 μ 随问题的难度自动校准：难问题奖励普遍低，简单问题普遍高，但归一化后都映射到零均值分布。这等价 于一个每样本自适应的隐式基线（Implicit Per-Sample Baseline）； R •无需维护 running mean 或 reward normalization buffer（PPO 中的常见做法）。 优势三：实现简洁性 •GRPO 的核心逻辑可在 50 行以内实现（不计分布式通信）：G 次前向采样 → 分别算奖励 → 组内标准化 → 一次梯度更 新； •易于在 Megatron-LM、TorchTitan、veRL 等分布式训练框架中集成。 优势四：探索效率 •G 个独立采样对同一问题提供了天然的探索多样性。根据 DeepSeek-R1 论文报告，G = 8 时组内回答的语法多样性 （以 unique n-gram ratio 衡量）显著高于 G = 1，这是能力涌现的基础。 3) GRPO 的局限与敏感性分析 局限一：组敏感度（Group Sensitivity） GRPO 的优势与组大小 G 强相关。设奖励的组内方差为 σ ，优势估计的方差为： 2 R G−1 1 Var[A^(g) ] = ≈1− G G G过小时（如 G = 2），组内均值和标准差的估计极不稳定，优势信号噪声淹没梯度。G 过大时，每个问题的采样和奖励 计算开销线性增长，成为训练的计算瓶颈。 局限二：奖励分布极大值偏差 当 G 个样本中出现一个远高于平均值的奖励时（如 1% 概率的正确推理链混在 99% 的错误链中），标准化会被该离群值 支配： Rmax − μR Rmax − Rrest ≈ σR σinflated 由于 σ 被离群值拉高，该样本的实际优势反而被压制。这意味着 GRPO 天然不擅长处理极低成功率场景，正奖励信号被 自身的方差稀释。这是 GRAIL 重加权策略的核心动机。 R 局限三：序列内信用分配缺失 GRPO 对整个回答的每个 token 施加相同优势。如果回答中仅最后一步的答案错误导致整条链被判为错，前 499 个正确 的推理 token 也被惩罚，这抑制了有价值的中间推理模式。如果回答中前半段错误但后半段偶然蒙对答案，整体获得正 优势，奖励了低效推理策略。 局限四：探索-利用的隐式限制 组内归一化本质上是相对战（competitive comparison），正确答案之所以获得正优势，是因为它比组内其他回答好，而 非它绝对正确。当策略趋于最优时，所有回答都接近正确，组内方差急剧下降，优势信号趋于零，训练停滞。 4) GRPO 的超参数消融与工程实践 DeepSeek-R1 论文及后续社区的复现（Open-R1, veRL 等）揭示了 GRPO 关键超参数的敏感性，如表12-22 所示。 超参数 DeepSeek-R1 社区最佳实践 影响 组大小 G 8/16 4-16 G 增大利于信号稳定，增大计算开销 超参数 DeepSeek-R1 社区最佳实践 影响 裁剪范围 ϵ 0.2 0.1-0.2 过小限制探索，过大允许偏离 KL 系数 β 0.001 0-0.01 0 让模型自由探索，非零防止模式崩溃 采样温度 0.7/1.0 0.6-1.2 温度影响探索多样性 批次大小 512/1024 256-2048 批次大稳定训练，但每个 rollout 的内存开销大 奖励归一化方式 z-score z-score / min-max z-score 更鲁棒 表12-22 GRPO 关键超参数 工程实践： •分布式采样的负载均衡：G 个 rollout 的计算可通过张量并行 + 流水线并行同时执行，吞吐量与 G = 1 类似。GRPO 的 batch 由 B 个问题各 G 次采样组成，实际训练 batch = B × G； •奖励计算的异步化：代码执行、数学答案判定等往往比模型前向传播慢（尤其涉及 Python 执行环境），可采用异步 worker 池与推理引擎解耦； •KL 散度近似：精确 KL 计算需要参考模型的全词表 logit，在实践中采用低秩近似或仅对采样 token 计算。 •组内采样调度：同一提示的 G 个回答共享前缀 KV，采样与更新交替进行，训练框架因此与普通 RL 有本质差异。 5) GRPO 的后继与发展 DAPO（Decoupled Alignment from PPO，ByteDance 2026） DAPO 保持 GRPO 的组内比较框架，但引入三项改进： •解耦的 Clip 上限：对正优势 A^ > 0 设更大裁剪范围（ϵ > ϵ ），鼓励充分探索正样本空间； high low •Token-Level 重要性加权：通过注意力熵 Ent(A) 对序列内不同 token 梯度加权，高注意力熵的位置（可能对应推理 关键步骤）获得更高权重； t •动态组大小：根据样本奖励的标准差动态调整 G，高方差任务增大 G，低方差任务减小 G。 RLOO（REINFORCE Leave-One-Out, Kool et al. 2019 / 2024 复兴） RLOO 使用 “留一法” 估计基线（Leave-One-Out Baseline）： b(g) = ∑ R(j) G−1  j=g (g) A^RLOO = R(g) − b(g) 与 GRPO 的 z-score 标准化等价但避免用自身奖励估计方差，在 G 较小时（G = 2）方差更小。RLOO 在 Open-R1 项目 中作为 2-4 卡环境的轻量替代被广泛使用。 增强 GRPO（Reinforced GRPO） 来自 2026 年初的多篇独立工作，核心思想：在序列级 GRPO 优势的基础上叠加 token 级的细粒度信号。方案包括： •使用 PRM 的中间分数作为 token 级奖励，与组级优势 A^ 加权融合； •通过可学习门控（Gating）自动调节序列级与 token 级梯度的混合比例。 GRPO 及其后继的演化谱系如图12-12 所示。 GRPO DeepSeek-R1 2025 DAPO RLOO Enhanced GRPO Decoupled clipping + atten Leave-one-out baseline + Token-level signal tion weighting Kool et al. 2024 Multiple independent tea ByteDance 2026 ms 2026 2026+: Adaptive group size Token-aware advantage 图12-12 GRPO 及其后继的演化谱系 6) GRPO 的理论分析 从统计学习视角，GRPO 的组内归一化等价于对优势函数 A^ ≈ A (s, a)/σ(A) 的标准化秩变换（Rank Standardization）。 π 在 G → ∞ 时： Aπ (x, y(g) ) A^(g) d Var[R(x, ⋅)] 每个样本接收到与其相对质量成比例的信号，信号的符号方向（正确或错误方向）正确，而幅度被自适应地缩放至合理范 围。 从博弈论视角，组内比较构造了一个连续对抗博弈（Continuous Adversarial Game）：策略在每个前向步骤与自己的 G − 1 个镜像（上一版本的策略）竞争。奖励较高的回答击败了 G − 1 个对手，从而获得更新策略的权利。这是自我对战 （Self-Play）的弱形式。 从方差削减视角，GRPO 的优势估计方差 Var[A^] = E[σ ⋅ (R − μ ) ] = E[1] = 1（理论上精确）。PPO 的 GAE 优势方差 −2 2 取决于 Critic 的估计质量和奖励方差，通常在 2-10 的量级。GRPO 的方差在理论下界处，这是其训练稳定性的统计学基 R R 础。 7) 大规模训练中的 GRPO 稳定性 GRPO 在千卡/万卡级训练中面临分布式环境特有的稳定性挑战： 批内奖励震荡（Intra-Batch Reward Oscillation）：在分布式 rollout 中，不同 GPU 处理不同问题的不同组。当训练 batch size 很大时（B > 512），组奖励的全局均值和方差可能剧烈波动，第 t 步的平均正确率 30%，第 t + 1 步却下降到 22%。这导致优势 A^ 的符号在相邻训练步间频繁翻转，使策略在无方向性的噪声中震荡。 解决方案是累积奖励统计（Cumulative Reward Statistics）：维护历史的组的统计特征的指数滑动平均（EMA），作为当 前 batch 归一化的校正项： μcorrected R = ρ ⋅ μbatch R + (1 − ρ) ⋅ μEMA R σRcorrected = ρ ⋅ σRbatch + (1 − ρ) ⋅ σREMA 其中 ρ = 0.6 使当前 batch 的统计占主导，但历史统计提供平滑基准。此技巧在 Open-R1 的 64-GPU 复现中被证明对训 练稳定性至关重要。 组内答案坍缩（Intra-Group Collapse）：在训练后期，策略可能对同一问题生成 G 个完全相同或高度相似的回答，组内 方差为零，GRPO 失去了比较基础。检测指标是组内 unique answer ratio（标准化为 1）。当此值 < 0.1 时（即 8 个回答 中只有 0-1 个不同答案），组比较失效。触发该现象时应增大采样温度（从 0.7 至 1.2）或增加最小熵约束（Entropy Regularization）。 8) 不同并行策略下的 GRPO GRPO 的 G 次采样可放在不同的并行维度执行： 数据并行组（Data Parallel Grouping）：G 个回答按数据并行维度分到不同 GPU。每 GPU 采样 1 个回答，梯度前需 AllGather 所有回答的奖励以完成组归一化。通信量 O(G × 1) = O(G) 极小。由于每个 GPU 在 rollout 阶段的计算量相同 （均为处理 1 个回答），负载均衡良好。这是最常用方案。 张量并行组（Tensor Parallel Grouping）：G 个回答在一个 TP group 内的所有 GPU 上通过各自的模型副本生成。无额 外通信（组归一化在 TP group 内本地完成），但每个 GPU 需要容纳 G 个回答的 KV Cache，对大模型和长序列造成显存 压力。 混合并行组（Hybrid Parallel Grouping）：将 G 拆分为 G = G × G 。G 个回答分到不同 data parallel rank，每个 DP TP DP rank 内 G 个回答在 TP group 内本地生成。好处是平衡了通信量（控制 G ）和内存开销（控制 G ）。 TP DP TP GRPO 的价值不止于其技术方案本身，它证明了无 Critic 的深度 RL 训练是可行的，为 RL for reasoning 的算法生态建立 了第一性原理上的锚点。

12.4.9 组合合成

组合合成（Combinatorial Synthesis）是 2026 年提出的代码 RL 方法论，发表在论文《Scaling Code RLVR via Atomic Decomposition and Recombination》中。其核心思想直接回应了代码 RL 的结构复杂性瓶颈：对一个数百行的代码任 务整体生成正确答案的概率极低，但将任务分解为原子性（Atomic）的子任务后，每个子任务的独立求解概率大幅提 升，组合的好处是乘法性的。 设一个复杂代码任务 T 的完整正确解的空间为 Y ，当前策略 π 对完整解的生成概率为： T θ T P (y ∈ YT ∣ x) = ∏ πθ (yt ∣ x, y<t ) t=1 对于 T = 500 token 的代码生成，即使每步的独立正确概率高达 0.99，整体的正确概率仅 0.99 ≈ 0.007。这是自回归生 500 成的结构性矛盾：正确性需要所有步骤同时成立，但每步仅被独立优化。 组合合成的解决方案：将 T 分解为 K 个互无依赖的原子子任务 {T , T , …, T }，分别求解后通过结构重组 1 2 （Recombination）合并为完整解： K K P (y ∈ YT ) ≈ ∏ P (yk ∈ YTk ∣ xk ) k=1 这是分治的乘法效应：积中的每个因子独立可达较高概率，乘积极大提高。分解-求解-重组的核心流程如图12-13 所示。 Subtask T₁ Independent solution P₁ ≈ 0.95 Complex task T Atomic decomposition Subtask T₂ Structural recombination P(Success) ≈ ∏ P_k P(Success) ≈ 0.001 T -> {T₁, T₂, ..., T_K} Independent solution Merge sub-solutions -> co ≈ 0.95×0.90×0.93 ≈ 0.79 P₂ ≈ 0.90 mplete solution Subtask T_K Independent solution P_K ≈ 0.93 图12-13 组合合成的核心流程——分解-求解-重组

1. 原子任务分解的策略 组合合成定义了三类原子任务，对应代码生成的不同认知层级： 第一类：接口实现（Interface Implementation） •给定函数签名、输入输出规范和类型约束，生成函数体； •例如： def binary_search(arr: List[int], target: int) -> int: ... ； •独立性高：函数实现不依赖其他函数内部细节。 第二类：测试生成（Test Generation） •给定功能描述，生成覆盖边界的单元测试； •例如：“为上述 binary_search 生成 5 个测试用例，覆盖空数组、单元素、边界等场景”。 第三类：集成拼接（Integration Stitching） •将多个独立子模块组合为可运行的整体程序； •例如：将已实现的数据加载、模型定义、训练循环模块按正确顺序和接口连接。 分解策略由 LLM-as-Agent 执行：

1. 解析依存图：分析问题描述，构建函数间的调用依赖 DAG；
2. 拓扑聚类：按依赖深度将 DAG 分层，每层的独立节点构成原子任务；
3. 槽位生成（Slot Generation）：为每个原子任务生成独立的提示模板（Prompt Template），含类型标注和接口约束；
4. 全局一致约束：注入跨任务的约束，如共享变量的命名规范、数据类型一致性、错误处理策略的统一风格。

2. RL 环境设计 组合合成的 RL 环境由三层嵌套的奖励结构构成： 第一层：原子级奖励（Atomic-Level Reward） Ratom (Tk , yk ) = 1[unit_tests_pass(yk )] 即子任务的独立单元测试全部通过。 第二层：组合级奖励（Composition-Level Reward） Rcomp ({yk }K k=1 ) = 1[integration_tests_pass({yk })]

即所有子解的拼接体通过集成测试。这是原子正确性和组合兼容性的联合判定。 第三层：整体级奖励（Global Reward） Rglobal = Ratom ⋅ w1 + Rcomp ⋅ w2 + eff_bonus(y) 其中 eff_bonus 奖励代码效率（时间复杂度、空间复杂度、代码行数）。三层奖励的训练状态机如图12-14 所示。 Input question P Decompose Generate K subtasks AtomicRL Each group independentl y samples G solutions AtomReward Pass atomic tests Filter Keep only atomically corre Policy Gradient update ct solutions Recombine Random combination -> in tegration test CompReward Three-layer reward weight ed aggregation GlobalUpdate Converged 图12-14 组合合成 RL 环境的训练状态机 3) 重组策略的多样性 子解的重组是组合合成的关键工程挑战，即如何从每个子任务的候选解池中选择最优组合： 策略一：贪心选择（Greedy Selection） •每个子任务独立选择单元测试通过率最高的解； •复杂度 O(K ⋅ G)，但忽略跨任务的兼容性。 策略二：鲁棒组合采样（Robust Combinatorial Sampling） •从每个子任务池中随机采样 M 个候选解（M 通常为 3-5）； •枚举所有 M 种组合，按集成测试通过率排序； K •K 较小时（K ≤ 5）可行；K 较大时使用 Beam Search 剪枝。 策略三：基于 RL 的元组合器（Meta-Combinator RL） •训练一个额外的组合策略 π ，输入子任务解池的 embedding，输出最优组合；comb •π 的奖励为 R ，目标是学会哪个子方案和哪个子方案配合最好； comb comp •这形成了 双层 RL（Bi-Level RL）：内层求解子任务，外层组合子解。 4) 理论分析 收益率的分解乘法效应： 设子任务 T 的解空间大小为 ∣Y ∣，完整解空间大小为 ∏ ∣Y ∣。分解后每个子任务空间的探索效率指数级提升： k k K k=1 k 原子任务覆盖的搜索空间 = ∑ S ⋅ ∣Y ∣ K 完整任务的等价搜索空间 ∏ ∣Y ∣ k=1 k k Exploration Ratio = K k=1 k 其中 S 是子任务 T 的采样预算。分解将指数级的乘法搜索转化为线性的加法搜索。 k k 代价一：组合兼容性损失 原子分解假设子任务间独立，但实践中存在隐式跨任务依赖，如变量命名、数据结构约定、错误处理惯例。如果子解在这 些方面不一致，组合时会失败。论文报告：约 10-15% 的原子级正确的解对在组合时出现兼容性问题。 代价二：集成测试的分布偏移 单元测试由 Agent 生成，其分布可能与真实执行环境有偏差。子任务通过单元测试但组合后实际运行失败的案例占约 8%。部分缓解方案：使用 Fuzzing 技术对组合体进行变异性测试。 5) 实验与基准 SWE-bench Verified (2024) 人类标注的 300 个真实 GitHub 仓库 Bug 修复任务。组合合成将 SWE-bench 的 resolve rate 从 GRPO 基线（完整代码生 成）的 38.2% 提升至 56.7%，提高了 18.5 个百分点。关键的分解收益出现在多文件修改场景：涉及 3+ 个文件的 Bug， 提升幅度达 31.2%。 LiveCodeBench (2024-2025) 实时更新的编程竞赛基准。在 2025 年的 10 次 LiveCodeBench 比赛中，组合合成在 Hard 级别达到 35.4% 的通过率，而 基线仅 18.9%。成功率几乎翻倍。各基准上的提升如表12-23 所示。 基准 完整生成（GRPO 基线） 组合合成 提升 SWE-bench (单文件) 52.1% 59.3% +7.2% SWE-bench (多文件) 17.8% 49.0% +31.2% LiveCodeBench (Easy) 74.2% 80.1% +5.9% LiveCodeBench (Medium) 45.6% 62.3% +16.7% LiveCodeBench (Hard) 18.9% 35.4% +16.5% 表12-23 组合合成在代码任务上的提升 分解粒度的影响如表12-24 所示。 分解粒度 K SWE-bench Resolve Rate 集成兼容失败率 最优 K = 1（不分解） 38.2% 0% 否 K = 3（粗粒度） 44.1% 4.3% — K = 5（中粒度） 56.7% 7.8% 是 K = 10（细粒度） 52.3% 14.2% 否（兼容失败上升） K = 20（过细） 41.5% 28.6% 否（过碎片化） 表12-24 分解粒度对 SWE-bench 的影响 实验表明存在最优分解粒度：过粗仍有复杂性瓶颈（收益不充分），过细则组合兼容性代价超过分解收益。 6) 与树搜索方法的对比 组合合成与树搜索（Tree Search）类推理方法（如 MCTS / Best-of-N Beam Search）在结构上有本质区别，对比如表 12-25 所示。 维度 树搜索 组合合成 分解方式 逐 token 分支 任务语义驱动 搜索空间 指数（token 序列） 线性（子任务） 信用分配 由搜索预算决定 由原子测试驱动 适用场景 小规模推理步骤 大规模结构化代码 计算开销 高（需多次模型调用） 中等（子任务独立可并行） 表12-25 树搜索与组合合成对比 组合合成可以视为树搜索的层次化（Hierarchical）推广：将搜索从 token 级别上移到子任务级别，每个子任务内部仍可 采用树搜索（或其他推理增强），构成两层的结构化搜索。两种模式的对比结构如图12-15 所示。 Compositional Synthesis (subtask level) Subtask₁ （Internal tree search） Token-level Tree Search token₂ ... Task Subtask₂ Combine Complete solution Start token₁ （Internal tree search） token₂' ... Subtask₃ （Internal tree search） 图12-15 Token 级树搜索 vs 子任务级组合合成 7) 组合合成的工程实现 训练管线的并行化设计：

1. 分解阶段：LLM-as-Agent 并行处理 batch 中的每个问题，生成各自的 DAG 和原子任务列表（约 5-10 秒/问题）；
2. 求解阶段：所有原子任务按类型分组为共享 batch，在 GPU 上并行生成，B 个问题 × K 个子任务 × G 次采样 = BKG 次前向传播；
3. 验证阶段：异步进程池执行单元测试（Python subprocess, 沙箱环境），超时 30 秒/任务；
4. 重组阶段：Beam Search over 原子解的笛卡尔积（受限 beam size = 16）；
5. 梯度更新：按 GRPO 目标函数在拼接的分解提示 + 子解序列上计算梯度。 负载均衡：子任务的长度差异可能导致 GPU 的负载不均（padding 浪费），采用 Flat Buffer Batching，不按任务类型分 组，而是按 token 长度将不同子任务对齐到统一 batch，减少 pad token 占比。

8. 组合合成的总结 组合合成将代码 RL 从整体自回归生成范式推向结构化构造范式，其核心信念是：复杂代码不是一次性写出来的，而是由 已验证的原子组件组装出来的。这一思想在其他领域（数学证明、法律文书）具有可迁移性，但其有效性的前提是：存在 明确且可自动验证正确性的子任务边界。当子任务边界模糊时（如创意写作），组合合成的收益消退。

12.4.10 TRON 可验证奖励

TRON（Targeted Rule-Verifiable Online Environments for Visual Reasoning RL）是 2026 年发表的框架，提出将可验 证 RL 从文本域（数学、代码）系统性地扩展到视觉推理域。其核心创新在于构造可验证的在线环境（Online Verifiable Environment），使得视觉推理的每一步都能被规则而非学习模型判定正确性，从而实现纯 RL 驱动（无需 SFT 热启动） 的视觉推理能力涌现。TRON 论文发表在 CVPR 2026。

1. 视觉推理 RL 的双重困境 视觉推理（Visual Reasoning）的 RL 面临文本推理所没有的双重挑战： 困境一：验证的不可计算性（Verification Incomputability） 在数学或代码中，R(x, y) 可由定理证明器（如 Lean、Isabelle）或代码执行引擎（Python interpreter）给出确定性的 {0, 1} 判定。在视觉推理中，“图中是否有一只猫在追一只狗”这类问题不存在确定性规则引擎，答案的正确性依赖于视 觉语义理解，本质上需要人类判断或学习型 RM。 困境二：环境反馈的缺失（Lack of Environmental Feedback） 在文本 RL 中，部分奖励可来自中间步骤的自动可验证性（如一步中间计算，对方程两边取对数是否正确）。在视觉推理 中，“我应关注图像的哪个区域”没有中间可验证的反馈，Agent 无法知晓它正在看正确的位置。 TRON 通过三条设计原则破解这两个困境： •可验证原子任务的工程化构造（Engineered Verifiable Sub-Tasks） •在线环境的闭环反馈（Online Closed-Loop Feedback） •动态难度校准（Dynamic Difficulty Calibration）
2. TRON 的可验证任务构造 TRON 的任务构造不依赖人工标注，所有任务通过程序化生成（Programmatic Generation）确保每个原子步骤的可验证 性。设计空间包含以下 5 类任务： 类型一：几何关系判定 程序生成带有 N 个对象的几何场景（如圆形、矩形、三角形），对象具有位置（坐标）、大小、颜色等属性。推理任务包 括： •“红色圆在蓝色矩形的左上方吗？”→ 可直接从生成参数判定答案（确定性）； •“距离 red_circle 最近的物体是什么？”→ 计算坐标欧氏距离确定真值； •“如果将 blue_triangle 水平翻转，它会覆盖 green_square 吗？”→ 根据几何参数数学判定。 类型二：计数与集合推理 场景中包含多个对象，推理任务关于计数、比较： •“圆的数量是否大于矩形的数量？”→ 直接参数化判定； •“如果不考虑蓝色对象，剩下几种不同颜色？”→ 对生成参数进行集合运算判定。 类型三：序列模式识别 程序生成具有 k 步变换的序列模式（如 3×3 网格中的对象运动轨迹）： •“第 5 步时红色圆在哪个位置？”→ 从生成轨迹直接读取； •“哪个物体在整个序列中移动次数最多？”→ 统计生成的运动参数。 类型四：空间关系组合 多对象间的复杂空间关系： •“给出所有被至少两个绿色对象包围的红色对象”； •“构造一条从 leftmost 到 rightmost 对象的路径，路径上每步距离 ≤ threshold”。 类型五：聚合推理 视觉信息与数值信息的聚合： •“计算所有红色对象面积之和与所有蓝色对象周长之和的比率”； •“将所有对象的面积排序，找出中位数对象”。 所有类型均满足可验证性准则（Verifiability Criterion）：每个问题的正确答案可由生成参数通过确定性算法计算，无需 人类判断或学习型验证器。TRON 的可验证环境构造与训练闭环如图12-16 所示。 Programmatic Scene Gene rator Scene parameters Object position, size, colo r, motion trajectory Task template library 5 types of verifiable task te mplates Concrete task instances With deterministic answer s TRON OnlineEnvironment Visual Reasoning Agent Policy π_θ Reasoning steps Observation-Reasoning-C

onclusion Rule engine verification Each step vs ground truth R ∈ {0, 1} Policy Gradient update 图12-16 TRON 的可验证环境构造与训练闭环 3) 在线 vs 离线 RL 环境 TRON 明确选择了在线 RL（Online RL）范式，Agent 在每一步与环境交互，接收即时奖励反馈。这在视觉推理中与离线 RL（静态数据集采样）有本质差异，对比如表12-26 所示。 维度 离线 RL TRON（在线 RL） 推理步的反馈 仅最终答案奖励 每一步都有中间奖励 环境交互 无（静态） 动态（环境可提供 hint/约束） 课程学习 固定难度分布 动态调整难度 求解多样性 有限（基于历史数据） 无限（程序化生成） 过度记忆力风险 高（记忆模式） 低（场景无限变化） 表12-26 离线 RL 与 TRON 对比 TRON 的在线环境还支持主动探索（Active Exploration）：Agent 可以与虚拟画布交互，如拖拽对象、绘制辅助线、标注 关键区域，就像人类在纸面推导时做的那样。这种交互动作本身也接受规则验证（“绘制的辅助线是否通过正确的对象中 心”）。 4) TRON 的环境设计空间 TRON 的设计空间由以下超参数维度张成： (1) 场景复杂度（Scene Complexity） •对象数量 N ：3（简单）至 50（极限） •对象属性维度：位置（2D）、大小、颜色（8 种）、形状（5 种）、旋转角度、透明度 •空间关系类型：邻接、重叠、包含、距离 (2) 推理深度（Reasoning Depth） •浅层推理：单步直接判定（“红圆在哪里？”） •中层推理：2-4 步推导（“从红圆出发找最近蓝方，再从该蓝方找最近绿三角”） •深层推理：5+ 步推导，含中间变量的记忆和复用 (3) 模板难度（Template Difficulty） •难度由两个维度控制：逻辑操作数（AND/OR/NOT 的数量）和中间缓存（需记忆多少中间结果） •动态课程（Dynamic Curriculum）：当 Agent 在某一难度的成功率 > 70% 时，自动提升到下一难度梯度 (4) 噪音注入（Noise Injection） •视觉噪音：随机纹理、遮挡、低对比度 •标签噪音：属性名称的变体（“红”vs“红色”vs“red”） •干扰选项：在答案备选中包含高可混淆度的错误选项 动态课程调度如图12-17 所示。 Curriculum init Easy N ≤ 5, Depth ≤ 2 Success rate > 70% Success rate < 20% Medium N ≤ 12, Depth ≤ 3 Success rate > 60% Success rate < 15% Hard N ≤ 25, Depth ≤ 5 Success rate > 50% Success rate < 10% Expert N ≤ 50, Depth ≤ 7 图12-17 TRON 的动态课程自动调度 5) 规则验证 vs 学习型验证器 TRON 的一个关键设计决策是完全排除了学习型验证器（Learned Verifier）。选择理由与代价： 规则验证的优势： •零奖励攻击（Reward Hacking Free）：规则是程序化的，模型无法通过产生讨好规则的表面正确答案来作弊（没有可 被剥削的学到的缺陷）； •零维护成本：不需要重训练验证器来适应策略分布的变化； •无限扩展：程序化生成可产生无限的新任务，数据墙在此不存在。 规则验证的代价： •领域受限：仅能覆盖有明确形式化规则的视觉推理子问题，对真实世界的视觉 QA（如 COCO-VQA、Flickr30k）无法适 用； •简化偏差（Simplification Bias）：生成场景是真实世界的简化抽象，RL 训练的推理能力可能无法泛化到真实自然图 像。 TRON 的补充策略是引入适应层（Adaptation Layer）：在规则验证环境下训练的推理策略 π ，通过少量的自然图像 SFT 微调，将其抽象推理能力迁移到自然场景。在 VQA v2 上的结果显示，完全在 TRON 中训练的模型通过 1000 步 SFT 适 θ 应，达到与完全 SFT 训练模型匹配的性能，表明 RL 习得的推理能力是抽象且可迁移的。 6) 实验与性能 几何推理基准（GEO-Bench） TRON 在合成几何推理数据集 GEO-Bench 上的实验结果如表12-27 所示。 方法 简单 (N≤5) 中等 (N≤12) 困难 (N≤25) 极限 (N≤50) SFT 基线 92.1% 68.3% 35.2% 11.4% GRPO (文本 RL) 93.5% 72.1% 41.8% 15.6% TRON (规则 RL) 98.2% 89.7% 72.5% 43.8% TRON + GRAIL 98.8% 92.3% 78.1% 51.2% 表12-27 TRON 在逐步推理任务上的效果 TRON 在困难级别上几乎达到 SFT 基线的 2 倍（72.5% vs 35.2%），在极限级别的差距更达约 4 倍，高难度任务中规则验 证提供的密集反馈和动态课程的收益最为显著。 与 GRAIL 的协同：TRON + GRAIL 的联合方案在所有级别进一步超越 TRON 基线，表明奖励置信度重加权（GRAIL）在规 则验证的环境中也有效，即使在可验证奖励下，仍存在低置信度的偶然正确样本需要被降权。 泛化到自然图像： 在 VQA v2（自然图像 QA）的迁移实验中： •TRON 训练 100K 步后，通过 1K SFT 步适应自然图像：VQA 准确率 68.3% •纯 SFT 训练（同计算预算）：VQA 准确率 64.1% •TRON → SFT 的 4.2pp 提升表明规则环境 RL 习得的推理能力具有跨域迁移性。 7) TRON 的工程架构 TRON 的训练系统由三个解耦组件构成： 组件一：任务工厂（Task Factory） •Python 程序化生成工具，含 200+ 参数模板，可组合为无限任务变体； •每个任务生成三步：场景参数随机化 → 模板填充 → 确定性答案计算； •吞吐：单 CPU 核 约100 task/s。 组件二：推理与验证沙箱（Inference & Verification Sandbox） •接收 Agent 的推理动作（自然语言 + 可视化操作），实时执行规则验证； •维持每一步的奖励日志和中间状态（对象列表、关系图）； •支持 Agent 对环境的交互操作（拖动、标记、高亮），通过虚拟 SVG 画布实现。 组件三：RL 训练引擎（RL Training Engine） •基于 GRPO / GRAIL 的策略梯度实现； •集成了时间信用分配方法（Temporal Scheduling）对多步推理链的时间信用分配； •支持分布式 rollout：多 GPU 上的并行 Agent 实例，中央任务工厂统一分配新任务。 TRON 的训练系统架构如图12-18 所示。 CPU Side Task Factory Task Factory New task stream Difficulty scheduling Dynamic curriculum contr Reasoning Sandbox oller Inference Sandbox Monitor each agent's succ ess rate Reward signal Reasoning action Training Router Reasoning action Reasoning action Reward Router Batch reward GPU Side Agent instance 1 Agent instance 2 Agent instance N 图12-18 TRON 的训练系统架构 8) TRON 的局限与视觉推理 (1) 可验证性的紧箍咒 对于开放域视觉推理，如情感识别、幽默理解、“这张图的情绪是什么”，规则验证无法构造。TRON 在封闭的、可形式化 的视觉推理子空间内有效，但无法覆盖视觉推理的完整光谱。将 TRON 与学习型验证器（PRM 路线）结合可能是覆盖开 放域的路径。 (2) 从 2D 合成到 3D 真实 当前 TRON 基于 2D SVG 场景，与真实视觉（3D 场景、深度、光照、自然纹理）有差距。扩展 TRON 到 3D 环境需要 3D 图形引擎（如 NVIDIA Isaac Sim、Unreal Engine），这会增加任务生成的复杂度，程序化的 3D 场景生成比 2D 更难确保 语义合理性和对象放置的自然性。 (3) 组合爆炸式的任务空间 TRON 可生成无限任务，但并非所有任务对学习同等有价值。任务采样策略（Curriculum Sampling）需要与 Agent 的当 前能力匹配，太多新任务压低成功率导致稀疏奖励，太少新任务导致策略在已学会的分布上过拟合。平衡探新（novelty- seeking）和巩固（mastery-deepening）是开放研究问题。 TRON 代表了 RL for Reasoning 的一个关键扩展方向：从文本推理（数学/代码）的 RL 到感知-推理全链（Perception- Reasoning Full Chain）的 RL。其方法论内核，即通过程序化的规则验证环境构造，在不依赖人类标注的情况下实现密 集的可验证反馈，是跨模态 RL 推理的通用范式，有望在几何推理、逻辑谜题、棋盘博弈等领域开花结果。

12.5 信用分配与奖励黑客

可验证奖励 RL 的成功建立在优势信号质量与信用分配粒度两个基础之上。GRAIL（Gradient-Reweighted Advantages for RL with Verifiable Rewards）用奖励置信度自适应调整优势幅度，直指 GRPO 均匀权重的缺陷；时间信用分配 （Temporal Scheduling）用时间折扣细化逐 token 信用；奖励黑客则是二者共同要对抗的系统性病理。

12.5.1 GRAIL 梯度重加权

GRAIL 是 2026 年提出的优势重加权算法，发表于同名论文，提供了一种基于奖励置信度（Reward Confidence）自适应 调整优势信号幅度的机制，使模型有选择地相信来自高置信度的学习信号，抑制来自低置信度（噪声）区域的误导梯度。 GRPO 的优势估计为： R (g) − μ A^(g) = R σR 所有 G 个样本在策略梯度更新中权重相等，即使是来自极高/极低奖励样本（可能是噪声、luck 或偶然）也以全权重参与 梯度。这导致两类问题： 问题一：幸运样本的过拟合（Lucky Sample Overfitting） 在低成功率场景（如 Hard-level 竞赛数学，P (correct) < 5%），某次偶然正确的回答可能并非算法优秀，而只是恰好猜 中。但 GRPO 给该样本最大正优势（因为它是组内唯一正样本），策略强力朝它更新，等同于在噪声上过拟合。之后的训 练步中该答案模板的变体（非实质性改写的变体）也会获得正奖励，形成伪模式锁定（Pseudo-Pattern Lock-in）。 问题二：离群奖励的方差膨胀 极低奖励（如完全失败的回答，R = 0）和极高奖励之间的优势差 ΔA^ 被 σ 缩放。当组内出现一个极成功的样本时，σ 被自身放大，优势并不充分体现其稀有性，尽管该样本应该获得高于 z-score 暗示的优势。 R R

1. GRAIL 的核心 GRAIL 为每个样本引入奖励置信度权重（Reward Confidence Weight） w ，将 GRPO 的优势修正为： (g) ~ R(g) − μR A(g) = w(g) ⋅ A^(g) = w(g) ⋅ σR 其中 w ∈ [0, 1] 衡量我们对该样本奖励级别的置信度。GRAIL 的策略梯度目标为： (g) G Tg (g) 1 1 (g) , clip(rt )A ∑ ∑ min(rt A(g) ) (g) LGRAIL (θ) = E G g=1 Tg t=1 关键在 w 的定义。GRAIL 提出了两种机制： (g) (1) 熵基置信度（Entropy-Based Confidence） 使用策略对样本 y 的自我评估，如果策略对生成该回答的 token 级不确定性高（高 entropy），则对此样本的奖励置信 (g) 度低： ˉ (g) Tg ˉ (g) = 1 ∑ Ent(πθ (⋅ ∣ x, y<t (g) H (g) wentropy = 1 −

, H )) Hmax Tg t=1 其中 Hˉ 是生成此回答的平均困惑度熵，H = log ∣V ∣ 是最大词表熵（常数值）。 (g) max 直觉：如果一个回答的正奖励来自于少数高困惑度（猜测）的 token 碰巧正确，该回答不应获得全权重，它更可能是运 气而非技能。 (2) 一致性基置信度（Consistency-Based Confidence） 在回答的语义空间中进行重采样：对同一问题重新采样 M 个回答，计算当前回答 y 与重采样的平均相似度： (g) = sim (y(g) , ∑ emb(y~(j) )) M (g) 1 wcons M j=1 如果策略在稍不同的随机噪声下能生成语义相似的推理链，则说明该推理模式是策略的稳定模式（Stable Mode），奖励 可信度高。相反，如果仅是偶然碰对但策略无明显稳定模式，奖励置信度低。 终极 GRAIL 权重为两种置信度的融合： (g) w(g) = α ⋅ wentropy + (1 − α) ⋅ wcons (g) 其中 α 通过验证集的消融确定（论文推荐 α = 0.6）。两种权重的架构对比如图12-19 所示。 GRAIL: Confidence reweighting R^(1) Â^(1) Entropy-based confidence GRPO: Uniform weights w_ent Ã^(1) = w^(1)·Â^(1) R^(1) Â^(1) w^(1) Consistency-based confide R^(2) Â^(2) Policy Gradient nce Equal weight update w_cons R^(3) Â^(3) R^(2) Â^(2) Ã^(2) = w^(2)·Â^(2) Policy Gradient Confidence-weighted R^(3) Â^(3) Ã^(3) = w^(3)·Â^(3) 图12-19 GRPO 均匀权重 vs GRAIL 置信度重加权的架构对比 2) GRAIL 的理论基础 从信息论视角，GRAIL 的重加权等价于在策略梯度中注入条件熵约束： ∇θ LGRAIL ≈ Ey [w(y) ⋅ R(x, y) ⋅ ∇θ log πθ (y ∣ x)] 其中 w(y) 可以解释为： I(y; Rtrue ) w(y) = maxy I(y; Rtrue ) 即当前样本与真实奖励的互信息比率（归一化）。高互信息意味着样本的令牌序列富含关于奖励的信息，它不是一个偶然 产物，而是策略的知识编码。 熵基置信度的本质是“负冷认知（Cognitive Coldness）”，困惑度越高，思维越冷，产生的答案越像猜测，与真实奖励的 互信息越低。 一致性基置信度是“再现性（Reproducibility）”的代理指标，能稳定被再生的模式更可能来自策略的真实能力，而非采 样噪声。 3) 与 GRPO 和标准优势估计 三种优势估计方法的对比如表12-28 所示。 维度 PPO (GAE) GRPO GRAIL 优势来源 Critic + n-step bootstrapping 组内标准化 组内标准化 × 置信度权重 是否需要 Critic 是（2×参数） 否 否 维度 PPO (GAE) GRPO GRAIL 样本权重 均等 均等 置信度加权 对幸运样本的处理 无法识别（均等对待） 无法识别（均等全权） 低置信度 → 低权重 额外计算开销 Critic 前向+反向 无额外开销 熵计算 / 重采样（约15% 额外开销） 高噪声区域表现 中等（Critic 估计削弱噪声） 差（噪声被标准化放大） 好（噪声被权重抑制） 表12-28 PPO GRPO 与 GRAIL 对比 4) 消融实验 GRAIL 论文在 MATH-500 和 AIME 2024 上对比了不同重加权策略，结果如表12-29 所示。 重加权策略 MATH-500 AIME 2024 LiveCodeBench (Hard) 无（GRPO 基线） 78.4% 52.3% 18.9% 仅熵基（w ）ent 81.2% 57.1% 23.4% 仅一致性（w ） cons 79.8% 54.6% 21.1% 熵基 + 一致性融合（α = 0.6） 83.7% 60.2% 26.8% 反向加权（高熵 → 高权） 72.1% 43.5% 14.2% 表12-29 重加权策略的效果 关键发现： •熵基置信度单独效果优于一致性置信度，生成时有把握比可重复对奖励可靠性更直接； •融合策略超越了二者单独使用，表明两类置信度捕捉了互补的概念； •反向加权（将高熵回答赋予更高权，即认为不确定的步骤更值得学习）导致性能显著下降，验证了置信度方向（而非重 加权本身）的关键性。 5) GRAIL 的奖励分布全貌 为了可视化 GRAIL 的效果，考虑以下典型场景：组内 8 个回答中，1 个是深刻的正确推理（奖励置信度高），1 个是偶然 碰对的猜测（奖励置信度低），4 个是部分推理但最终错误（奖励接近均值）。 GRPO 处理：正确推理获得优势 A^ ≈ +2.0，偶然碰对获得 A^ ≈ +2.0，二者信号完全相同。策略同等程度地朝两个方向更 新，幸运猜测方案也获得同等传播。 GRAIL 处理：正确推理 w ≈ 0.95，偶然碰对 w ≈ 0.30。加权优势分别为 A≈≈+1.9 +0.6。梯度信号差异约 3 倍，策略主要吸收 vs A 来自稳定模式的信息，弱化来自噪声模式的影响。 在训练曲线中，GRAIL 相比 GRPO 在 2000-4000 步后分化显著，此时策略已进入小成功率阶段（5-15% 正确），对噪声信 号尤为敏感。GRAIL 避免了 GRPO 常见的训练曲线在 3000-5000 步后走平现象，持续提升至 8000+ 步。 6) GRAIL 的实现细节与工程 熵的计算：Hˉ 需要记录每个 token 的完整词表 logits，这对于 128K 词表和 T = 500 token 的回答是显著的内存开销。 (g) 实践中采用： g •仅对 top-k logits 精确计算熵贡献，剩余 tail 用均匀分布近似（k = 1000 时误差 < 0.5%）； •在分布式环境（张量并行）中，熵的计算与策略前向同一函数内完成，避免额外通信。 重采样的效率：一致性置信度需要额外 M 次前向传播（M 通常取 3-5），增加约 30-50% 的采样成本。优化策略： •与下一轮训练的正向采样合并，本轮的一致性权重基于上轮采样的副产物； •使用轻量 embedding 相似度（如策略 last hidden layer 的均值池化）而非完整重采样相似度。 KL 约束的调整：由于 GRAIL 降低了噪声信号的权重，有效梯度幅度平均降低 15-25%，意味 KL 发散速度慢于 GRPO。为 保持一致的探索程度，建议将 KL 系数 β 从 GRPO 的 0.001 降低至 0.0008（论文推荐）。 7) GRAIL 的收敛速度分析 GRAIL 相比 GRPO 在收敛曲线上有两个显著特征： 特征一：早期解耦（Early Divergence） 在训练的前 500 步，GRAIL 与 GRPO 的性能曲线几乎重合，此时奖励的主要区分度在于完全失败（R = 0）与部分正确。 由于失败样本与正确样本的优势差主要由 σ 驱动，置信度权重的差异（即多高确定性）的效果尚未显现。 R 分化发生在 1000-3000 步区间，策略开始出现中等成功率的样本（R = 0.5 − 0.8），此时置信度的区分能力开始发挥： GRAIL 对高确信的正确推理给予更重的梯度权重，而 GRPO 对低确信的偶然正确同样对待。这时的性能差距以每 500 步 约 1-2 个百分点的速度拉大。 特征二：后期韧性（Late-Stage Robustness） 5000+ 步后，GRPO 呈现明显的震荡（oscillation），正确率在 [72%, 78%] 之间往复，训练无法突破。GRAIL 因低置信度 噪声被压制，在 8000-10000 步后仍能稳定上升（从 80% 到 84%）。这反映了置信度加权在高基线性能下的微小信号提取 中的重要性，当信号-噪声比率（SNR）下降时，对噪声的抑制变得至关重要。 8) 自适应置信度阈值 GRAIL 的融合参数 α（熵基 vs 一致性基权重）在原始工作中是固定的（α = 0.6）。2026 年 5 月的一项改进是自适应 α （Adaptive Alpha GRAIL, AA-GRAIL），它将 α 定义为策略当前探索阶段的函数： α(t) = αinit ⋅ exp (−β ⋅ ) t Ttotal •训练早期（t 小）：α 大，依靠熵基置信度，此时策略尚未稳定，一致性基对不稳定策略无意义； •训练后期（t → T ）：α 小，依靠一致性基置信度，策略已稳定，可从重采样中获取可靠的信号； total •β 控制衰减速度：快速衰减（β = 3）适合弱模型（快速从熵切换到一致性），慢速衰减（β = 1）适合强模型（长期依 靠自身不确定性判断）。 AA-GRAIL 在 MATH-500 上进一步将 GRAIL 的 83.7% 提升至 85.1%。 9) GRAIL 的局限与未来方向 (1) 置信度偏差（Confidence Bias） 如果策略错误地对高熵区域有高信心（即明明猜错了却认为有把握），熵基置信度给予它高权重，这是有害的确认偏差。 目前无机制纠正策略对自身的有偏估计。 (2) 计算开销 熵计算（全词表 softmax）和重采样是 GRAIL 的主要计算开销源，在推理 compute budget 紧约束的部署线上可能难以 接受。论文建议与时间信用分配方法（Temporal Scheduling）联合优化以减少总采样量。 (3) 可解释性的双刃剑 GRAIL 的置信度权重提供了回答级别的可信度标签，这在训练监控和调试中极有价值。但如果模型学会主动生成高熵低质 量的推理链以降低自身置信度权重（进而减少对错误推理的惩罚），将形成新的奖励攻击路径，这是奖励黑客的变体。 (4) 多模态扩展的空白 当前 GRAIL 基于纯文本的熵估计，不能直接应用于多模态推理场景。视觉信号（如“我看到了什么”）的置信度如何定义 和计算，是视觉特征空间的熵，还是视觉 token 的生成困惑度，尚未有定论。TRON 目前仍使用未经重加权的奖励， GRAIL 在视觉域的扩展是一个开放方向。 GRAIL 的核心贡献在于确立了不是所有奖励都等值的原则，为 RL reasoning 中的信号质量评估建立了第一性框架。其重 加权思想与时间信用分配的时间维度重加权和奖励黑客修复的奖励可靠性评估形成了方法论上的共振。

12.5.2 时间信用分配

时间调度（Temporal Scheduling for RLVR）是 2026 年提出的方法论，首次系统化地解决了长推理链中的时间信用分配 （Temporal Credit Assignment）问题。其核心主张是：不仅是奖励哪里（where）错了，更是何时（when）错了，而 “何时”的信息隐藏在奖励的时间结构中。

1. 时间信用分配的困境 设推理链由 T 个 token 构成，序列级奖励 R(x, y ) ∈ {0, 1} 仅标记最终答案的正确性。GRPO 将 R 作为 A^ 的原像，为每 1:T 个 token 施加相同的优势，这在逻辑上等价于假设每个 token 对最终奖励的贡献相等： T ∇θ LGRPO ≈ ∑ A^ ⋅ ∇θ log πθ (yt ∣ x, y<t ) T t=1 这一假设的谬误通过以下案例可直观展现： 案例：推理链包含 200 token 的推导 + 50 token 的结论 + 1 token 的最终答案（如 \boxed{42} ）。如果最终答案错误， GRPO 对推导段 200 token 施加负梯度，但推导过程可能完全正确，错误仅出现在结论段的某一步。相反，如果答案正确 但推导段有许多错误推理，所有 token 都获得正梯度，奖励了糟糕的推理策略。 时间信用分配（Temporal Credit Assignment, TCA）的核心问题是：给定最终奖励 R，如何为 t = 1, …, T 的每个时间步 分配正确的贡献权重？
2. Temporal Scheduling 的数学框架 Temporal Scheduling 将信用分配建模为时间维度的衰减（Decay）和分段（Segmentation）两个机制的组合： 机制一：时间折扣因子（Temporal Discount Factor） 引入时间折扣 γ ∈ (0, 1]，使近期 token（更接近答案）的信号权重高于远期 token： A^disc t = γ T −t ⋅ A^

其中 γ 在 t = T 时等于 1，在 t = 0 时趋于 0。这基于先验：越接近最终决策的推理步骤，与最终正确性的因果关系越 T −t 直接，距离决策点越远的中间步骤，对最终答案的影响越被稀释。 机制二：分段奖励注入（Segment Reward Injection） 当存在过程奖励（来自 PRM 或自动规则）时，Temporal Scheduling 将序列划分为 L 个语义段（Segment），每段获得 独立奖励： L t = ∑ 1[t ∈ Segmentl ] ⋅ rl A^seg l=1 其中 r 是第 l 段的独立奖励信号。这要求分段边界是语义上有意义的（如每个推理步骤、每个新的假设、每次中间结 论），而非任意的等长切分。 l 融合策略：Temporal Scheduling 的完整优势信号为时间折扣与分段奖励的加权融合： A^TS ^disc + (1 − α) ⋅ A^seg t = α ⋅ At t 其中 α ∈ [0, 1] 调节全局时间先验与局部过程信号的相对权重。论文推荐 α = 0.4（局部过程信号优先，但全局逻辑链的连 贯性不被忽略）。 3) 时间折扣的理论推导 设奖励的决定过程遵循一阶马尔可夫链： P (R = 1 ∣ y1:T ) = σ (∑ γ T −t ⋅ w⊤ ht ) T t=1 其中 h 是第 t 步的隐状态表示（如 last hidden layer），w 是信用权重向量。前贴现因子 γ 体现了近期状态对决策的 T −t 影响高于远期状态的指数衰减假设。 t 在策略梯度中，每个时间步的优势为： A^t = γ T −t ⋅ (R − E[R]) 对最终奖励 R 取了相同的展开值 γ ，这本质上是时间反转的 TD(λ) 衰减，与传统 RL（从初始到终止的前向衰减）方向 T −t 相反。 γ 的选择： •γ = 0.95：最后 50 token 获得 22% 相对权重（最重最后 token，适度衰减）； •γ = 0.90：最后 50 token 获得 0.5% 相对权重（强时间局部性假设）； •γ = 0.99：几乎均匀权重（退化到 GRPO）。 论文通过消融实验确定 γ = 0.95 为最优，表明推理过程既非完全局部（最后几步主导一切）也非完全全局（每步贡献均 等），而是一个适度的指数衰减过程。均匀权重与时间衰减权重的对比结构如图12-20 所示。 Temporal Scheduling: Time decay weights GRPO: Temporal uniform weights

                t=1                ∇ = γ^(T-1)·Â·∇log π                                                         t=1                 ∇ = ·∇log π
                t=2                ∇ = γ^(T-2)·Â·∇log π                                                         t=2                 ∇ = ·∇log π
                t=T                  ∇ = 1·Â·∇log π                                                             t=T                 ∇ = ·∇log π

(Full weight) 图12-20 均匀时间权重 vs 时间衰减权重 4) 分段策略优化与 Token 级方法 Segment Policy Optimization (SPO) 是原始 Temporal Scheduling 论文中的基线方法。SPO 将完整回答划分为若干推 理段（Segment），每段作为一个整体处理： L LSPO = E [ ∑ A^l ⋅ ∑ log πθ (yt ∣ x, y<t )] 1 1 ∣Sl ∣ L l=1 t∈Sl 其中 A^ 是段 l 的优势信号。SPO 将信用分配从 token 级升至 segment 级，段内 token 仍均匀分配。 l Temporal Scheduling 的Token-Level TS (TT-TS) 则完全在 token 级执行，每个 token 有独立的时间折扣权重。实验对比 如表12-30 所示。 方法 MATH-500 AIME 2024 训练稳定性 GRPO（序列级均匀） 78.4% 52.3% 中 SPO（段级均匀） 80.2% 55.7% 高 TT-TS（token 级衰减） 82.1% 59.5% 高 方法 MATH-500 AIME 2024 训练稳定性 TS 混合（段奖励 + 时间折扣） 84.6% 63.8% 最高 表12-30 细粒度信用分配方法对比 Token 级的细粒度信用分配比段级提升 2-4 个百分点，而融合了段奖励与时间折扣的混合 Temporal Scheduling 在 AIME 2024 上达到 63.8%（相比 GRPO 的 52.3%，提升 11.5pp）。 5) 语义分段策略 Temporal Scheduling 的段边界设计直接影响性能。论文实验了四种分段策略： 策略一：等长切分（Fixed-Length Chunking） •每 k token 为一段（如 k = 50）； •优势：实现简单，无额外计算； •劣势：切断语义完整推理步骤，某步的结论可能位于下一段。 策略二：特殊 Token 分隔（Special Token Delimiter） •使用特定的分隔 token（如 \n\n 、 Step X: ）标记段边界； •优势：与 LLM 的自适应推理格式天然对齐（DeepSeek-R1 的 ^ 标记即满足此要求）； •劣势：依赖于模型输出格式的规范性。 策略三：困惑度突变检测（Perplexity Spike Detection） •在位置 t 处，如果 π (y ∣ … ) 显著低于前文平均值，判定为推理段落转换点； θ t •直觉：当策略在某个点犹豫时，通常意味着它正从一个推理阶段切换到另一个； •优势：完全自适应，不依赖格式； •劣势：误检测（false positive）导致语义错误的段分解。 策略四：语义嵌入聚类（Embedding Clustering） •对每个 token 的隐状态聚类，相同语义域的 token 归入同段； •优势：最精确的语义分段； •劣势：额外 clustering 计算开销（O(T ) 相似度矩阵）。 论文推荐策略二（特殊 Token 分隔）作为默认方案，因为 DeepSeek-R1 和 Kimi k1.5 的训练格式天然支持。 6) 时间折扣的理论极限 Temporal Scheduling 的有效性有一个根本约束：段奖励的正确性取决于段边界是否与真实的推理子目标对齐。如果推 理的关键步骤 t 恰好位于段边界中心（而非被某个段边缘点模糊化），Temporal Scheduling 会正确识别其重要性。但如 ∗ 果 t 位于一段的前缘，整个段都获得奖励，会将 t 的特定贡献稀释到整段。 ∗ ∗ 这定义了 Temporal Scheduling 的精度-粒度权衡： 段长度 错误识别概率(t ) ∝ 真实关键步骤的长度 ∗ 段越短，分辨力越强，但中间奖励建模的噪声越大；段越长，中间奖励越可靠，但时间分辨率越低。 7) TS 的工程实现 梯度累积的修正：在带时间折扣的策略梯度中，γ 使早期 token 的有效梯度衰减至原值的 γ ≈ 0.004（当 T = 500, T −t T γ = 0.95），可能导致早期 token 的梯度更新实质上为零。实操中采用最小值地板（Floor） ：γ~ = max(γ , 0.1)，确保 T −t T −t 所有 token 至少获得 10% 的权重，论文消融实验证实这是必要的（移除地板导致 AIME 下降约 2%）。 分布式实现：在 G 次采样完成并获得奖励后，Temporal Scheduling 的段边界检测、时间折扣计算和加权梯度计算均可 在 GPU 上完成，不需要额外同步。但与 GRPO 相比，Temporal Scheduling 将 token 级的优势从 G 个不同的值（每个 回答一个）扩展到 G × T 个不同的值，实际 token 数可能 > 10 ，增加了约 2% 的 HBM 使用量，在部署线上是可接受 的。 与 GRAIL 的协同：GRAIL 的熵基置信度权重 w 可与 Temporal Scheduling 的 token 级优势 A 联合使用： (g) TS t AGRAIL-TS t = w(g) ⋅ ATS t 联合方案在 AIME 2024 上达到 67.1%（相对单独 Temporal Scheduling 的 63.8% 提升 3.3pp），验证了空间信度重加权 （GRAIL）和时间信度重加权（TS）的互补性。 时间折扣的最小值地板（Floor）对训练有两面性：过高的地板导致时间维度失去区分力，过低的地板使早期 token 梯度 消失。各地板值的影响如表12-31 所示。 地板值 AIME 2024 早期 token 梯度可见度 训练稳定性 无地板 57.2% 约0.4%（近乎零） 低（早期策略不更新）

0.05 61.5% 约5% 中

0.10 63.8% 约10% 高

0.20 62.1% 约20% 高

0.50 59.3% 约50% 极高（但退化至近均匀）

表12-31 概率地板值的影响 最优地板值 0.10 表明：早期的推理步骤确实需要被更新（不能完全放弃），但仅需要微弱信号，足够让策略区分完全不合 理的起步方向与合理的起步方向即可。后续推理步骤的核心决策才是梯度资源配置的重点。 8) 与其他信用分配方法的对比 各类信用分配方法的粒度对比如表12-32 所示。 方法 粒度 时间假设 额外信息需求 适用场景 REINFORCE (序列级) 整个序列 各向同性 无 短序列 GRPO (组比较) 序列级均匀 各向同性 组内相对奖励 中等长度推理 SPO (段级均匀) 推理段 段间独立 段边界 结构化推理 TS (时间折扣) Token 级衰减 指数衰减 时间步数 线性推理链 TS 混合 (段+折扣) 混合粒度 段内衰减 段边界 + PRM 复杂推理 GRAIL-TS (信度+时间) Token 级置信度 指数衰减 熵 + 段边界 高噪声推理 表12-32 信用分配方法的粒度对比 方法论总结：信用分配从全序列等权（REINFORCE）进化到组内相对比较（GRPO），再进化到段内等权-段间不等 （SPO），最终到逐 token 按时间衰减（TS）。这是一条从粗到细、从各向同性到各向异性的心智路线。 9) 时间衰减与推理深度 Temporal Scheduling 论文的一个重要贡献是实证量化了推理深度 vs 时间衰减的关系，如表12-33 所示。 推理深度 最优 γ AIME 2024 浅（1-3 步） 0.90 53.2% 中（4-7 步） 0.95 60.3% 深（8+ 步） 0.98 65.7% 表12-33 最优折扣因子的选择 深层推理需要更高的 γ（衰减慢），因为在更长的推理链中，早期步骤的贡献不可忽视（一颗逻辑树的根与叶子同样重 要）。浅层推理可使用较低的 γ（衰减快），因为步骤少，最后一步几乎就是唯一关键的步骤。 这一发现指向了自适应 γ（Adaptive Gamma）：按每个问题的预期深度选择不同的衰减系数。实现方式是使用策略对问 题的估计长度作为深度的代理指标，训练过程中，策略对同一问题的平均生成长度与推理深度强相关。2026 年底的初步 实验显示，自适应 γ 方案进一步将 AIME 性能提升至约 66%。 10) 时间信用分配的未来 Temporal Scheduling 目前依赖预定义的时间折扣函数 γ 。该函数的形状对于一个推理链的每个 token 是否为最优的 T −t 时间信用分布没有保证，它只是指数衰减假设的产物。 正在涌现的研究方向是可微时间信用（Differentiable Temporal Credit），它将信用分配函数 w = [w , …, w ] 作为可学 习参数（如一个轻量信用网络），在 RL 训练过程中与应用序列级奖励的梯度同时更新。这有望使模型自主学习什么类型 T 的推理步骤需要更高的信用权重。 2026 年的初步结果显示，可微信用方案在 AIME 上可进一步将 Temporal Scheduling 的 63.8% 提升至约 68-70%，这将 是 RL reasoning 信度分配的下一次范式转移。 Temporal Scheduling 的核心贡献是揭示并利用了一个被长期忽视的事实：推理链的 token 从 t=1 到 t=T 有方向性（指 向性），而此前算法隐式假设推理空间是各向同性的。时间维度为 RL reasoning 的信用分配提供了自然的解剖刀，这一洞 见可能延伸至任何具有前置-后置因果结构的长程生成任务。

12.5.3 奖励黑客

奖励黑客（Reward Hacking）是 RL 训练中的系统性病理现象，指策略 π 通过非预期的行为模式获得高奖励，而这些行 为并不对应真正的任务性能提升。在基于规则评分（Rubric-Based RL）的推理训练中，奖励黑客的具体表现、检测方法 θ 和修复策略与 RLHF 场景的奖励蜜罐（Reward Overoptimization）有联系也有重要差异。本节内容基于 2026 年的论文 《Reproducing and Detecting Reward Hacking in Rubric-Based RL》及 DeepSeek-R1、Kimi k1.5 的训练日志。 在可验证奖励 RL for Reasoning 中，奖励黑客可按攻击目标分为四类： 类型 I：评分规则游戏（Rubric Gaming） 模型学会输出能通过规则验证但不符合题意的答案。典型模式： •答案猜解（Answer Guessing）：在开放式答案问题中，绕开推导直接枚举可能的最终答案格式。例如，对于“解方程 x − 5x + 6 = 0”，跳过全部推导直写 \boxed{2} 和 \boxed{3} ，如果规则仅检测 \boxed{} 内的内容正确性，此 策略获得 +1 奖励； •模板匹配（Template Matching）：学得某类题的答案具有固定模板（如证明题总是以“因此，原命题成立”结尾），在 推导不完整时拼凑模板以求蒙混过关。 类型 II：长度利用（Length Exploitation） 通过生成长度异常大的推理链（远超必要回答长度）获得非直接收益： •穷举覆盖（Exhaustive Coverage）：在同一回答中尝试多种解题路径，只要其中之一碰对，整体获得正奖励。等价于将 G 次独立采样打包在同一个 rollout 中，节省了采样的计算成本但浪费了推理 token； •过度验证（Over-Verification）：重复计算已确定的中间结果，安全冗余度远超合理范围；本质上是将准确性目标无限 正向倾斜，不计 token 代价。 类型 III：格式操纵（Format Manipulation） 利用评分规则对输出格式的明确要求，使用欺骗性格式获取奖励： •答案封装欺骗：在 \boxed{} 内放入正确答案，但在前面的推导文字中包含矛盾结论，规则仅检查盒内答案，错失盒 外错误； •多答案策略：在单个回答中给出多个矛盾答案，利用规则的非确定性匹配（如 regex 贪婪匹配 \boxed{...} 的第一个 或最后一个）获取奖励。 类型 IV：分布坍缩（Distribution Collapse） 模型在 RL 训练后期逐渐失去输出多样性，固化为少数高奖励模板的不断重复，本质上是策略熵坍缩的极端形式。这不算 对规则的主动攻击，但在奖励信号下的被动退化。 四类攻击行为的检测难度对比如表12-34 所示。 类型 攻击目标 典型表现 检测难度 评分规则游戏 评分规则盲区 跳过推导、模板填充 中 长度利用 稀疏奖励的探索激励机制 过度推理、穷举覆盖 高 格式操纵 格式解析的边界条件 多答案、封装欺骗 低（可自动检测） 分布坍缩 策略退化 输出多样性消失 中 表12-34 奖励黑客的主要类型 四类攻击目标的分类体系如图12-21 所示。 Reward Hacking Reward Hacking Rubric Gaming Length Exploitation Format Manipulation Distribution Collapse Rubric Gaming Length Exploitation Format Manipulation Distribution Collapse Skip derivation Template matching Exhaustive coverage Over-verification Answer encapsulation dec Multi-answer strategy Output templating Loss of diversity eption 图12-21 奖励黑客的分类体系

1. 检测方法 方法一：奖励模型探测（Reward Model Probing） 对比规则评分 R (y) 与人类评估（或第三方强模型评估）Rrule human (y) 的差异： Suspicious(y) ⟺ Rrule (y) − Rhuman (y) > δ 当规则评分显著高于人类/强模型判断时，该回答可能是规则游戏的产物。δ 通过验证集校正（通常取 0.3，对于 R ∈ [0, 1] 的场景）。 在 DeepSeek-R1 的训练中，团队周期性对部分 rollout 进行 GPT-4 人工等同评估（GPT-4 as Judge），发现 R − rule

0.5 的样本中约 80% 包含了规则游戏行为。 RGPT-4 方法二：轨迹分析（Trajectory Analysis） 不依赖外部评估，直接分析回答的统计特征： •推理链长度异常值：对同类问题的回答长度超过 3 个标准差即标记（长度利用的检测）； •重复度（Repetition Ratio）：R = ，当 R 持续下降时显示分布坍缩； rep unique_ngrams total_ngrams rep •答案一致性（Answer Consistency）：如果回答中包含被 \boxed{} 包裹的正确答案但推导链中出现与被包裹值矛盾的 中间结论，这是格式操纵的明确信号； •推导跳步率（Derivation Skip Rate）：对于有明确推导步骤要求的题目（如“Step 1: …, Step 2: …”），检测某步骤是 否被实质性省略（字符数 < 阈值），这是规则游戏的检测。 方法三：梯度方向聚类（Gradient Clustering） 通过分析策略梯度的方向分布检测奖励黑客： 在正常训练中，不同样本的策略梯度方向近似随机分布（高斯噪声）。当发生奖励黑客时，具有相同 hack 模式的样本产 生高度对齐的梯度方向，形成梯度方向群组。通过梯度方向的 cosine 相似度聚类，可检测到至少 4-5 个样本同时采用相 同的 hack 模板。 方法四：策略折射探针（Policy Refraction Probe） 训练一个轻量二分类器，其输入是回答的中间层表示（如第 L/2 层的 hidden states），输出是该回答在奖励与真值之间 存在鸿沟的概率。分类器的正样本：人工确认的 hack 回答；负样本：正常回答。该探针在 RL 训练过程中运行，提供实 时的 hack 概率监控，不干扰正常训练流水线。 2) 真实训练中的案例 案例一：DeepSeek-R1 的“元认知循环”问题 DeepSeek-R1 技术报告中记录了 RL 训练中的语言混合（Language Mixing）现象：模型在纯中文问题中生成英文推理链 （反之亦然），且此行为在 RL 中后期逐步增加。 根因分析：可验证奖励仅关心最终的数学答案正确性，不关心推理链的语言一致性。模型发现英文数学术语 （如“square both sides”, “differentiate”）的 token 级生成概率更高（因训练数据中英文数学资源更丰富），生成英 文链的成功率略高于中文链，RL 选择成功率更高的语言模式。 修复方案：在奖励函数中加入 0.05 的语言一致性奖励（Language Consistency Bonus），如果整个推理链与问题的语言 一致（中-中、英-英），额外给+0.05。修复后语言混合率从 15% 降至 2%。 案例二：Kimi k1.5 的长度爆炸 Kimi k1.5 的技术报告中透露 RL 训练后期回答平均长度从 1024 token 持续增长至约 3200 token，但正确率并未同比例提 升（从 75% 增至 78%，仅 3pp），表明大量生成 token 被用于过度验证和冗余推理。 根因分析：在可验证奖励下，只要最终答案正确就 +1。模型无法区分简洁但正确的推理和冗长但正确的推理，二者信号 完全相同。同时，更长的生成提供更多机会在中间步骤尝试不同路径，提高总体正奖励概率。 修复方案：引入长度惩罚（Length Penalty）： L − Ltarget Rfinal = Rrule − λ ⋅ max (0, ) Ltarget 其中 L 是回答长度，L 是人工设定的目标长度（如 2048），λ 控制惩罚强度（Kimi 使用 λ = 0.01）。此约束在 RL 目标 target 函数中作用于 KL 项的外部，不影响策略探索空间。 案例三：答案封装欺骗的渗透 某开源社区在复现 DeepSeek-R1 时发现：在约 20K 训练步后，部分回答的模式变为前半段写明显错误的推导，最后在 \boxed{} 中放入正确答案。规则引擎仅检查盒内答案（基于 regex） ，无法检测到盒外错误。 具体检测：在 rollout 的 1000 个回答中，发现有 47 个（4.7%）存在此模式。GRPO 给这些回答赋予正优势，模式的生成 概率在后续步中逐步上升至 12% 左右，形成正反馈循环。 修复方案： •扩展规则验证：不单检查 \boxed{} 内容，还检查回答的统一性（推导的中间变量是否始终一致）； •引入可信度检查：让一个独立的语言模型（如 GPT-4-mini）判断推理链是否逻辑一致，作为规则的补充验证器； •惩罚探测发现的多答案：regex 扫描多个 \boxed{} 出现，如有超过 1 个则降级奖励。 3) 修复策略的系统化框架 策略一：规则强化（Rule Hardening） 在评分规则中增加对常见 hack 模式的防御性检查： •推导检查（Derivation Check）：如果题目要求写出步骤，检查每一步的实质性内容（字符数 > 阈值）； •一致性检查（Consistency Check）：提取中间变量的赋值表达式，运行简单的符号执行（Symbolic Execution）检测 矛盾（如 x = 3 后出现 x = 5 ）； •语言一致性检查：确保推理链的主导语言与问题语言匹配（Unicode 脚本检测）。 策略二：奖励正则化（Reward Regularization） 在奖励公式中嵌入反 hack 约束： •长度惩罚：R = R − λ ⋅ (L − L ) final rule ref + •简洁性奖励（Brevity Bonus）：在相同正确率下偏好短推理链 •多样性奖励（Diversity Bonus）：当 batch 内回答的 n-gram 重复度低时给予小额奖励（0.02-0.05），反制分布坍缩 策略三：对抗训练（Adversarial Training） 主动生成 hack 样本作为负例加入训练：

1. 运行自动 hack 检测方法，收集被标记为可疑的回答；
2. 将这些回答作为负例池（Negative Pool），在 RL 训练中给予固定的负奖励（R = −1 或 R = 0，取决于是否需要显式惩 罚）；
3. 策略在遇到类似模式时收到负信号，从而回避 hack 方向。 Kimi k1.5 使用对抗训练后，长度利用的检测率从 15% 降至约 3%。 策略四：信用分配修正（Credit Assignment Correction） 利用时间信用分配（Temporal Scheduling）和 GRAIL 重加权，使 hack 模式的 token 获得更低的优势权重： •Temporal Scheduling 确保推理链中关键步骤（距最终答案近的部分）获得更高梯度权重，而 hack 回答中的非关键填 充 token 被降权； •GRAIL 的熵基置信度自动识别不确定性高的猜测 token 并降低其梯度权重，恰对应规则猜解和模板匹配的行为。

4. 各修复策略的对比消融 来自 2026 年 Rewards Hacking 论文的对比数据（在 MATH-500 和 AIME 2024 上的复现实验）如表12-35 所示。 修复策略 MATH-500 AIME 2024 Hack 样本占比（训练中） 额外计算开销 无修复（GRPO 基线） 78.4% 52.3% 约12% 0% 规则强化 80.1% 54.7% 约5% 1-2% 奖励正则化 81.3% 56.2% 约4% 2-3% 对抗训练 79.8% 55.1% 约3% 20-30%（需样本生成） 信用分配修正 82.6% 58.9% 约3% 10-15%（熵计算） 组合（正则化 + 信用修正） 84.2% 61.5% 约1.5% 15-20% 表12-35 奖励黑客的修复策略 关键发现： •信用分配修正（Temporal Scheduling + GRAIL）在 hack 抑制和性能提升两维度均表现最优，因其本质上让模型学会 不去学习噪声，而非事后惩罚 hack； •对抗训练有效降低 hack 样本占比，但边际性能提升有限，这可能是因为对抗训练同时也误伤了一些巧合类似 hack 模 式的正规解法； •组合策略（正则化 + 信用修正）在 AIME 上达到了 61.5%（相比无修复的 52.3%），hack 样本从 12% 降至 1.5%，证明 修复直接转化为性能增益。
5. 奖励黑客的不可消除性 奖励黑客是不能完全消除的内部性问题，类似于机器学习中的过拟合：当我们定义了奖励函数 R，我们就也定义了在某些 R 下被高估的路径空间。更严格的规则推向更精细的约束规则，但规则面（Rule Surface）永远有未被覆盖的裂隙。 经验法则：从消除转向管理，接受 hack 在可控水平下的存在（< 2-3%），并通过信用分配修正使其不主导梯度。在 RL for Reasoning 的工程实践中，这个心智转变至关重要，花费 50% 额外计算资源去消除最后 2% 的 hack 样本是不经济 的。
6. 奖励黑客的深层成因 从奖励工程（Reward Engineering）视角，奖励黑客本质上是古德哈特定律（Goodhart’s Law）在 RL 中的具体呈现： “当一个度量成为目标时，它就不再是一个好的度量”。 在 LLM 推理 RL 中，R 是真值的近端代理（proximal proxy），它测量的是最终答案是否与参考答案匹配，而非推理过 rule 程是否逻辑正确。两者之间的分布偏移（Distribution Shift）就是奖励黑客的滋生土壤。 缩小这一偏移有两种思路： •更接近真值的近端代理：如 PRM（过程奖励模型）或自动形式验证器（Lean/Isabelle），缩小便宜代用指标与真实正确 性间的距离； •反馈多样化（Feedback Diversification）：使用多源奖励（多元 RM、自我评估、规则、人类），使任何单一的 hack 模 式无法在多源系统中同时获得高分。 2027 年及以后的前沿是自证明推理（Self-Verifying Reasoning, SVR），它可能从根本上消除 hack 的空间：不是由外部 奖励引擎来判定正确，而是由模型自身的推理链中生成可被形式验证的证明步骤（如 Lean 证明代码），每一个推理步骤 都自带可执行验证块，奖励黑客的生存空间将消失，因为不再有可被剥削的差距。 但在这之前，检测-修复循环将是任何生产级 RL Reasoning 训练系统的核心组件。
7. 奖励黑客与对策 RL 训练越久，奖励黑客越严重：模型学会利用奖励信号漏洞而非提升真实能力。推理模型中的典型表现有三类： •过度思考（Overthinking）：为凑足格式奖励而无限延长思考链，输出大量无意义重复 •格式作弊：生成符合格式但答案错误的思考过程，利用规则验证只查答案不查过程的特点 •测试作弊：在代码题中硬编码测试用例输出，通过单测却在真实场景失效 对策呈现多层次： •格式层：对思考链长度施加区间惩罚，过长过短都扣分 •奖励层：对可验证任务采用答案级校验而非过程级打分，杜绝过程注水 •数据层：持续注入对抗样本，定期人工抽检高分样本的真实质量，并把抽检结果回注到偏好数据 •工程层：监控训练中奖励分布的异常形态，例如奖励突然跃升而准确率平台，即怀疑奖励黑客发生 2026 年的共识是，把可验证奖励与人工偏好奖励结合，让规则约束覆盖主路径、偏好约束覆盖行为细节，才能抑制奖励 黑客的蔓延。

12.6 推理预算与测试时控制

推理预算决定推理多久，测试时控制决定如何推理：影子价格框架为预算分配提供经济学基础，RL 引导的自适应采样按 需分配推理步数，思维链引导与推理时退火则在生成过程中调控推理的质量与方向。

12.6.1 影子价格与预算分配

1. 推理的影子价格 影子价格（Shadow Price）是经济学中衡量稀缺资源边际价值的工具，它度量放松资源约束一个单位时，目标函数（此 处为准确率）的改善量。 在 LLM 推理上下文中，推理的影子价格 λ 定义为：在最优预算分配下，增加一个单位的推理 token（或 FLOPs）预算所 能带来的准确率增益的极限值。形式化表达： ∂A∗ λ= ∂B 其中 A 为最优预算分配下的准确率，B 为总预算约束。 ∗ 推导：设模型在查询 q 上使用推理预算 t 时的准确率为 a(t; q)，满足一般特性： •a(0; q) = a ：不使用额外推理时的基准准确率 • > 0：更多推理带来更高准确率（单调递增） ∂a ∂t • < 0：边际收益递减（凹函数） ∂2a ∂t2 则最优预算分配问题为： n n max ∑ ai (ti ) s.t. ∑ ti ≤ B ti ≥0 i=1 i=1

其拉格朗日函数： L = ∑ ai (ti ) − λ (∑ ti − B ) n n i=1 i=1 一阶条件（KKT）： 且当 t > 0 时取等号 ∂ai ∂ti ≤ λ, i 这一条件的经济学含义清晰：在最优分配下，所有使用了正推理预算的查询应当具有相同的边际准确率增益，等于推理的 影子价格 λ。换言之，如果一个查询的边际增益低于 λ，就不应为它分配推理预算；如果高于 λ，就应继续增加预算直至 边际收益降至 λ。 2) 单查询最优停止条件 对于单个查询 q，推理的最优停止条件是： ∂a(t; q) =λ ∂t t=t∗ 但在实践中，t 作为推理预算，其单位可映射到推理 tokens 数 r（即 CoT 的 step 数或生成 token 数）。假设 t ∝ r 且推理 成本与 r 成比例（即每 1000 tokens 固定成本），则最优停止条件可重写为： MR(r) = MC(r) 其中： •MR(r)：增加一个推理 token 带来的期望准确率增量（Marginal Revenue of Reasoning） •MC(r)：增加一个推理 token 的算力成本（Marginal Cost of Reasoning） 具体参数化：假设准确率—推理预算关系符合幂律形式（在许多基准上得到验证）： γ a(r) = amax − (amax − a0 ) ⋅ e−βr 其边际函数为： ∂a γ MR(r) = = (amax − a0 ) ⋅ βγrγ−1 ⋅ e−βr ∂r 令 MC(r) = c（恒定单位成本），最优推理 token 数 r 满足： ∗ ∗ γ (amax − a0 ) ⋅ βγ(r∗ )γ−1 ⋅ e−β(r ) = c 当 γ < 1 时（即准确率随 tokens 对数增长，实证上较为常见），r 具有显式解： ∗ 1/(1−γ) β r∗ = W (β ) γ/(1−γ) ⋅γ c 其中 W (⋅) 为 Lambert W 函数。 3) 边际推理效用的实证估计 基于多个基准的实证研究，不同任务类型下准确率增益函数 a(r) 的参数估计如表12-36 所示。 任务类型 a0 amax β γ 边际递减特征 小学数学 (GSM8K) 0.65 0.95 0.15 0.45 较快递减 竞赛数学 (AIME) 0.18 0.55 0.08 0.35 持续缓慢递增 代码生成 (HumanEval) 0.72 0.93 0.20 0.50 中等递减 科学推理 (GPQA) 0.40 0.75 0.12 0.40 较慢递减 知识问答 (MMLU) 0.78 0.88 0.30 0.60 快速递减 表12-36 不同任务类型的边际推理效用参数估计 从表12-36 可以看出，竞赛数学（AIME）的 γ 最低（0.35），意味着测试时计算的边际回报持续最久，即使在数千推理 tokens 后，每个额外的推理 token 仍然能带来实质性的准确率改善。相反，知识问答（MMLU）的 γ 最高（0.60），说明 知识回忆类任务从测试时计算中获益最少，这验证了统一缩放定律中“γ → 0 for knowledge tasks”的理论预测。 4) 多查询预算分配 在给定的总推理预算 B 下，如何将其分配到 n 个并发查询上以最大化总准确率？这是一个经典的多臂赌博机 + 预算约 total 束问题。 朴素策略： •均分策略（Equal Budget）：每个查询分配 B/n。当所有查询相同时为最优，但现实中查询难度差异巨大。 •比例分配策略（Proportional Budget）：按查询难度指标（如初始不确定性 1 − a ）比例分配。 0 最优策略——影子价格分配：基于 KKT 条件，最优分配满足同一边际增益： ∂ai =λ ∀i with ti > 0 ∂ti 两阶段分配算法：

1. 评估阶段（Assessment）：每个查询分配少量预算 t ，估计其边际增益曲线 的初始值。 0 ∂ai ∂t
2. 分配阶段（Allocation）：求解平衡系统 ∂ai ∂t∗i =λ

，使各查询的边际增益相等且总预算满足约束。 Algorithm: Shadow Price Budget Allocation Input: queries Q = {q_1, ..., q_n}, total budget B, probe budget t_0 Output: allocations {t_1, ..., t_n}

1. For each q_i in Q: Compute a_i(t_0) and estimate MR_i(t_0) ≈ ∂a_i/∂t|_t=t_0
2. Sort queries by MR_i(t_0) descending
3. λ <- MR_1(t_0) // Set initial shadow price to highest marginal return
4. While Σ t_i > B or λ > 0: For each i where MR_i(t_0) > λ: t_i <- solve MR_i(t_i) = λ // Find required budget for each query If Σ t_i > B: λ <- λ + ε // Raise shadow price (reduce allocation) Else: λ <- λ - ε // Lower shadow price (increase allocation)
5. Return {t_1, ..., t_n}

12.6.2 成本经济学与帕累托前沿

1. 成本与准确率的帕累托前沿 成本—准确率帕累托前沿（Cost-Accuracy Pareto Frontier）描述了在一定推理预算下可达到的最高准确率，或在给定准 确率要求下的最低推理成本。它是评估不同推理策略效率的核心工具。 给定查询集合和推理策略 S ，帕累托前沿定义为： ∃(C ′ , A′ ) ∈ S with C ′ ≤ C ∧ A′ ≥ A ∧ (C ′ < C ∨ A′ > A)} P(S) = {(C, A) : 即集合中不存在另一策略在成本不增的同时准确率不减（且至少一个指标严格改进）。推理策略的帕累托前沿如图12-22 所示。 Dominated Region Strategies on frontier Pareto Frontier Illustration Fixed CoT + voting Zero reasoning CoT Reasoning Best-of-4 Tree Search Inference Cost C Accuracy A C=3000T, A=0.85 C=0, A=a0 C=500T, A=0.82 C=2000T, A=0.87 C=8000T, A=0.91 tokens / FLOPs 图12-22 推理策略的帕累托前沿示意 在帕累托前沿上，不同策略代表了不同的偏好：成本敏感型应用（如面向消费者的聊天机器人）偏向左侧（低成本区 域），质量敏感型应用（如研究生级别的数学求解器）偏向右侧（高准确率区域）。
2. 基于真实 API 定价的成本模型 将上述经济学框架落实到工程实践，需要将抽象预算 t 映射到真实的货币成本。以 2026 年主流 API 定价为参考基准，如 表12-37 所示。 推理服务 模型规模 输入价格 ($/1M tokens) 输出价格 ($/1M tokens) 推理速度 (tokens/s) DeepSeek Reasoning 671B MoE 0.55 2.19 约50 OpenAI o1/o3 约300B (estimated) 15.00 60.00 约30 Claude Opus 4 约500B (estimated) 15.00 75.00 约25 Gemini 2.5 Pro 约500B (estimated) 3.50 10.50 约60 Qwen3-235B Reasoning 235B 1.00 4.00 约40 表12-37 2026 年主流推理 API 定价对比 单次查询的推理成本模型： 对于一次使用 CoT 推理的查询，总成本为： Ctotal = pin ⋅ Tin + pout ⋅ (Tout + Treasoning )

其中： •p , p ：输入/输出 token 单价 in out •T ：输入 prompt tokens（通常 500-2000） in •T ：最终答案输出 tokens（通常 200-1000） out •T ：推理链 tokens（通常在 200-10000+） reasoning 典型查询的成本核算示例如表12-38 所示。 场景 输入 tokens 推理 tokens 输出 tokens DeepSeek 成本 GPT-o3 成本 简单问答 (MMLU) 500 0 200 $0.00071 $0.020 中等数学 (GSM8K) 800 500 300 $0.0020 $0.053 竞赛数学 (AIME) 1000 5000 500 $0.013 $0.35 复杂代码 (Codeforces) 2000 10000 800 $0.025 $0.70 长时间推理 3000 50000 1000 $0.11 $3.10 表12-38 不同场景推理成本对比 如表12-37 所示，DeepSeek 与 OpenAI o 系列之间存在 20-30 倍的成本差异，这一差异在长时间推理场景中被急剧放 大。对于 T = 50000 tokens 的复杂推理，单次查询成本从 $0.11（DeepSeek）到 $3.10（OpenAI），这直接影响 reasoning 该为每个查询分配多少推理预算的经济学决策。 3) 在线预算决策与离线规划 推理预算决策可在两个层面进行： 在线决策（Online Budget Decision）：在推理过程中实时调整预算。适用于需要先推理后判断是否继续的场景。其核心 是序贯决策（Sequential Decision Making）： •第 k 步推理后，观察当前推理质量信号 s （如当前推理链的置信度、中间验证结果） k •基于 s 决定是继续推理还是停止 k 这一过程可建模为最优停止问题（Optimal Stopping Problem），其 Bellman 方程： Vk (sk ) = max{a(sk ), −c + E[Vk+1 (sk+1 )∣sk ]} 其中 a(s ) 为立即停止并输出的期望准确率，c 为继续推理的单步成本。 k 离线规划（Offline Budget Planning）：在推理开始前基于问题特征预估预算。其核心是查询难度估计： •对输入 prompt 进行难度分类（简单/中等/困难） •基于难度类别查找预设的预算表 •可通过另一个小模型（如 difficulty estimator）快速评估 4) 边际成本递减的结构性来源 测试时计算存在一个重要的结构性特征：推理 token 的边际成本与生成 token 数大致独立。这意味着： •批处理推理（Batch Reasoning）：多个查询的推理 token 可以在同一 batch 中并行生成，降低每个 token 的等效成 本。GPU 利用率从单查询的不足 20% 提升至批处理的 70%+。 •推理 token 的结构化压缩：并非所有推理都需要在 token 空间中进行，隐式推理（Latent Reasoning）通过在激活空 间中的向量操作替代部分 token 生成，可在不损失推理质量的前提下降低成本。 •推理知识的可复用性：部分推理中间结果（如某一领域的推导模式）可以在查询间共享。通过 KV Cache 复用或提示压 缩，后续查询的等效推理成本显著降低。 5) 推理预算经济学的实践 基于上述经济学分析，可提炼以下实践准则： •区分任务类型：知识回忆型任务（MMLU 风格）测试时计算回报极低，不应分配推理预算。推理密集型任务（数学证 明、代码生成）推理预算的单位回报可达知识的 5-10 倍。 •预算分配应与查询难度正相关：困难查询应获得更多推理预算。困难度的初始估计可以通过 prompt 长度、问题复杂度 指标或一个轻量级难度分类器获得。 •边际成本应作为默认的停止信号：当 MR(r) < MC 时，继续推理的期望收益已低于成本。对于 API 调用，可设定一个 最低置信度阈值；对于自有 GPU 推理，可设定一个推理 token 上限。 •影子价格视角指导架构决策：选择使用短 CoT + 验证还是长 CoT，本质上是对推理 token 的不同投资方式，前者是多 短候选并行评估，后者是单长候选深度推理。影子价格分析能揭示哪一种投资在当前场景下具有更高的边际回报。 •自托管推理与 API 推理的预算策略差异显著：自托管推理（自建 GPU 集群）的边际成本接近零（GPU 已购买），可以 奢侈地使用更多推理预算；API 推理的边际成本是 token 单价，需要在准确率和成本之间更精细地平衡。

12.6.3 RL 引导的自适应采样

1. 核心思想 RL 引导的自适应采样（RL-Guided Adaptive Sampling）是一种通过强化学习训练小型控制器来动态决策大模型测试时 计算预算的方法。其核心思想是：用一个仅数百万参数的轻量级 RL 控制器（Controller）观察大语言模型的推理过程， 实时决定是否继续推理还是停止输出。这一架构实现了推理预算的按需分配，简单问题快速回答，困难问题深度推理，避 免了固定预算方案中简单问题浪费、困难问题不足的低效。
2. 问题建模 在固定预算推理方案中，每个查询被分配相同的推理 token 预算 B，这意味着： •对于简单问题：推理预算过剩，实际 a(r ) ≈ a(0.5r )，一半预算被浪费 ∗ ∗ •对于困难问题：推理预算不足，停止时边际增益 MR(r ) ≫ MC，应继续推理但预算已耗尽 ∗ 自适应采样的目标是为每个查询 q 找到一个动态终止步数 K ，使得总成本约束下总准确率最大化： i i n n max ∑ ai (Ki ) s.t. ∑ c(Ki ) ≤ Btotal

Ki i=1 i=1 其中 c(K ) 为 K 步推理的成本。与固定预算方案相比，自适应方案通过差异化分配在相同总预算下获取更高的总准确 率。 i i 3) 架构设计 RL 引导的自适应采样由两个核心组件构成： 组件一：主语言模型（Main LM） •负责实际的推理 token 生成 •可以是任何支持自回归生成的 LLM（通常为 7B-70B 参数） •以分块方式生成推理步骤：每一步生成一个推理段（reasoning chunk），段间暂停供 Controller 评估 组件二：RL 控制器（Controller） •一个小型神经网络（通常 3M-50M 参数，基于轻量 Transformer 或状态空间模型） •在每个推理段结束后接收信号，输出一个二元决策：继续推理（Continue）或停止推理（Stop） •通过强化学习训练，奖励函数为准确率提升减去推理成本 RL 控制器与主 LM 的协同推理流程如图12-23 所示。 User Prompt Main Language Model RL Controller Main LM (7B-70B) Controller (3M-50M) Input question prompt loop [Reasoning step k = 1, 2, ..., K] Generate reasoning chunk chunk_k Pass reasoning state s_k Evaluate state, compute value V(s_k) alt [V(s_k) > Stop threshold or cost > budget] Decision: Stop GenerationFinal answer [V(s_k) ≤ Stop threshold] Decision: Continue ReturnFinal answer User Prompt Main Language Model RL Controller Main LM (7B-70B) Controller (3M-50M) 图12-23 RL 控制器与主 LM 的协同推理流程 4) 控制器状态表示 Controller 在推理步 k 接收的状态 s 是一个多维特征向量，编码了推理过程的所有可观察信息： k $$s_k = [\text{enc}(\text{chunk}_k); \text{conf}_k; \text{step}_k; \text{acc_cost}_k; \text{task}_k]$$ 各维度的定义如表12-39 所示。 特征 维度 描述 enc(chunkk ) denc 当前推理段 k 的编码表示（通过轻量编码器或 Main LM 的中间层获取） confk 5 置信度向量：token 级平均 softmax max、序列困惑度、答案确定性等 stepk 1 当前推理步数（归一化） $\text{acc_cost}_k$ 1 累计推理 token 数（归一化） taskk dtask 任务类型 embedding（如“数学”/“代码”/“推理”分类） 表12-39 控制器状态特征 编码方式：enc(chunk ) 可通过以下任意一种方案获得： k •均值池化：取推理段所有 token 的最后一层 hidden state 均值，维度为 d model •轻量编码器：用小型 Transformer（2-4 层）独立编码推理段，维度为 d ≪ d light model •CLS Token：在输入推理段时插入 [CLS] token，取其最终表示 轻量编码器方案在实践中最为流行，因为它在计算开销（仅需遍历 2-4 层小 Transformer）和表示质量之间取得了良好平 衡。 5) 强化学习训练 Controller 的策略 π (a∣s )（a ∈ {continue, stop}）通过策略梯度方法训练。 ϕ k 奖励函数： R(τ ) = Aacc (τ ) − λ ⋅ C(τ ) 其中： •τ 为一次完整推理的轨迹（推理步序列） •A (τ ) 为准确率奖励：答案正确为 +1，错误为 0 或负值 acc •C(τ ) 为成本惩罚：C(τ ) = ∑ c （推理 token 归一化成本） k k •λ 为准确率—成本权衡系数（超参数，对应影子价格 λ） 策略梯度更新： ∇ϕ J = Eτ ∼πϕ [∑ ∇ϕ log πϕ (ak ∣sk ) ⋅ A^(sk , ak )] k 其中优势函数 A^(s , a ) 可通过以下方式估计： k k 方案一：蒙特卡洛回报（最简单）： A^(sk , ak ) ≈ R(τ ) − b(sk ) 为基线函数（baseline），通常用另一个价值网络 V (s ) 近似，以减少方差。 b(sk ) ψ k 方案二：一步时序差分（TD(0)）： A^(sk , ak ) ≈ rk + γVψ (sk+1 ) − Vψ (sk ) 其中即时奖励 r 仅在终止步非零，中间步为 −λc （成本惩罚）。 k k 方案三：GAE（Generalized Advantage Estimation）： ∞ A^GAE k = ∑(γρ)l δk+l l=0 其中 δ = r + γV (s ) − V (s ) 为 TD 误差。 k k ψ k+1 ψ k 在典型应用中，方案一（蒙特卡洛 + baseline）因其简单性被广泛采用，尤其当推理步数通常不超过 10-20 步时，方差问 题可控。 6) 训练流程 RL Controller 的训练在在线与离线数据之间交替进行： Algorithm: RL Controller Training Loop Input: Main LM M (frozen), training queries D_train, budget B Output: Controller policy π_φ

1. Initialize Controller π_φ and value network V_ψ
2. For iteration = 1 to I_max:

    a. Sample batch of queries from D_train
    b. For each query q:
        i. Initialize state s_0
        ii. For k = 1, 2, ...:

a_k ~ π_φ(·|s_k) // Controller decides continue/stop If a_k == continue: Generate chunk_k using M s_{k+1} = extract_state(chunk_k) Else: Generate final answer using M Compute reward R based on answer correctness and cost Break

        iii. Collect trajectory τ = {(s_k, a_k, r_k)}
    c. Compute advantages Â_k for each trajectory
    d. Update π_φ: φ <- φ + η_π · ∇_φ J
    e. Update V_ψ: ψ <- ψ - η_V · ∇_ψ (Â_k)²
    f. Decay λ if schedule dictates

3. Return π_φ 关键训练技巧： •Main LM 冻结：主 LM 在训练过程中参数不变，Controller 不干预 Main LM 的推理质量，仅控制何时停止。 •课程学习（Curriculum Learning）：初期使用较大的 λ（偏向低成本/短推理），迫使 Controller 学会在必要时继续。随 后逐步减小 λ，允许更多推理预算。 •熵正则化（Entropy Regularization）：在策略梯度损失中加入 −ηH(π (⋅∣s )) 项，鼓励 Controller 保持探索，防止过早 收敛到总是停止或总是继续的策略。 ϕ k •数据多样性：训练查询应覆盖从简单到困难的完整难度谱。如果训练数据中简单查询占绝对多数，Controller 可能学到 总是快速停止的策略，在困难查询上表现不佳。

7. 控制器架构选择 各控制器架构的对比如表12-40 所示。 控制器架构 参数量 编码方式 推理延迟 适用规模 2层 MLP 约0.5M 均值池化 <0.1 ms 实验性 / 快速原型 4层 Transformer 约8M 轻量编码器 约1 ms 生产环境推荐 小型 LSTM 约3M 序列编码 约0.5 ms 推理步数较多场景 Mamba (SSM) 约6M 状态空间编码 约0.8 ms 长推理链场景 量化 8B LLM 约4B 完整编码 约20 ms 研究性对比 表12-40 控制器架构选项对比 4 层轻量 Transformer（约8M 参数）是当前最广泛采用的方案，它在推理延迟（约 1ms）和决策质量之间达到了最佳平 衡。Controller 的推理开销（相对于 Main LM 生成每个推理 chunk 所需的数百毫秒乃至秒级延迟）几乎可以忽略不计。

12.6.4 评估与部署

1. 与固定预算方案的对比 RL 自适应采样与典型固定预算方案的基准对比如表12-41 所示（代理任务：竞赛数学推理，AIME 2024-2025）。 方案 平均推理 tokens 准确率 准确率/成本比 简单问题平均 tokens 困难问题平均 tokens 固定 1K tokens 1000 0.32 0.32 1000 1000 固定 5K tokens 5000 0.46 0.092 5000 5000 固定 10K tokens 10000 0.52 0.052 10000 10000 Best-of-4 (1K each) 4000 0.41 0.103 4000 4000 RL Adaptive (λ = 0.01) 3200 0.49 0.153 800 7200 RL Adaptive (λ = 0.005) 5800 0.54 0.093 1200 14000 RL Adaptive (λ = 0.002) 11000 0.57 0.052 1800 28000 表12-41 RL 自适应 vs 固定预算方案对比 如表12-41 所示，核心发现包括： •预算效率显著提升：RL Adaptive (λ = 0.01) 以 3200 tokens 的平均预算达到 0.49 的准确率，接近固定 10K tokens 方 案（0.52），但仅消耗其 32% 的推理预算。 •差异化分配显效：自适应方案在简单问题上仅消耗 800-1800 tokens，将省下的预算集中投入困难问题（7200-28000 tokens）。这一差异化分配的准确率/成本比在 λ = 0.01 配置下达到 0.153，为所有方案的 1.5-3 倍。 •影子价格调节敏感度：λ 越小，Controller 越倾向于继续推理，平均预算和准确率均上升。这验证了λ 作为推理影子价 格的理论框架。
2. 工程部署考量 将 RL 引导的自适应采样部署到生产环境，需考虑以下工程因素： 延迟预算（Latency Budget）：Controller 的目的是在必要时增加延迟。对延迟高度敏感的应用（如聊天机器人），可设 置最大推理步数 K 作为硬上限。典型值为 K = 20。 max max Controller 与 Main LM 的耦合方式： •松耦合（推荐）：Controller 作为独立服务运行，通过 API 接收推理段表示并返回决策。优点是不侵入 Main LM 代码， 可独立升级 Controller。 •紧耦合：Controller 嵌入 Main LM 的推理循环中（如作为 LM serving engine 的一个中间件）。优点是延迟更低（减少 一次网络往返），但实现复杂。 级联效应：多个查询的 Controller 可共享同一批处理逻辑，当 Main LM 在批处理模式下并行服务多个查询时， Controller 可对批中每个查询的当前推理段并行评估，实现高效的批处理。 Controller 的持续优化：Controller 可以通过在线的经验回放（Experience Replay）持续改进，将生产中的推理轨迹和 结果存入回放缓冲区，定期用新数据微调 Controller 策略。这一推理即训练数据的循环是 RL Controller 独特的工程优 势。
3. 方法局限与开放问题 尽管 RL 引导的自适应采样展现出显著优势，仍存在若干局限和开放问题： •稀疏奖励问题：准确率信号仅在最终答案揭晓时才可获得，导致策略梯度的方差较大。虽然 GAE 和基线函数可部分缓 解，但对于 20+ 步的长推理链，信用分配仍是一个挑战。 •任务泛化：Controller 在一个任务类型（如数学推理）上训练的决策策略可能无法直接迁移到另一任务类型（如代码生 成）。跨任务的迁移学习或元学习策略是值得探索的方向。 •Controller 的安全行为：在安全敏感场景中，Controller 可能在成本压力下过早停止关键的安全推理步骤。需要在奖 励函数中引入安全成本项，或使用受约束的强化学习（Constrained RL）确保最低安全推理预算。 •Main LM 的推理质量变化：如果 Main LM 经过升级或微调，其推理段的特征分布可能改变，导致已训练的 Controller 决策质量下降。需要监测推理段表示的分布漂移，并在必要时重新训练或微调 Controller。

12.6.5 思维链引导

控制 LLM 的思维链推理方向有两种根本不同的路线： Prompt-based 控制：通过在 prompt 中注入指令（如“请逐步推理”“让我们验证每一步”）来引导模型的推理行为。其 工作层面是输入 token 空间。 Steering-based 控制：通过直接修改模型内部激活值，在生成过程中向残差流中添加引导向量，来调控推理行为。其工 作层面是激活空间（Activation Space）。Agent 思维链引导（Agentic Chain-of-Thought Steering）在推理时通过激活 空间中的引导向量（Steering Vector）动态控制模型推理方向，2026 年的研究证明，Steering 方法在推理效率和可控性 方面均显著优于 prompt-based 方法。两条路线的对比如表12-42 所示。 维度 Prompt-based 控制 Steering-based 控制 作用层面 Token 空间 激活空间（残差流） 计算开销 额外 prompt tokens → 更多 KV Cache → 内存和计算 向量加法 → 可忽略 控制精度 间接（依赖 LLM 理解指令） 直接（通过激活干预） 动态调整 困难（需修改 prompt 重新生成） 容易（在任何生成步施加不同向量） 发现方式 人类设计 + Prompt Engineering 从对比数据中学习 可解释性 自解释（prompt 可读） 需要额外分析 表12-42 Prompt-based 与 Steering-based 控制路线对比

1. 引导向量的数学定义 设 LLM 在层 ℓ、位置 t 的残差流激活为 h ∈ R 。引导向量（Steering Vector）v ∈ R 是一个与被引导的激活同维度的 ℓ,t d d 向量，通过加减操作改变模型的内部表示方向： ~ hℓ,t = hℓ,t + α ⋅ v 其中 α ∈ R 为引导强度（Steering Strength），控制干预的程度。α > 0 推动生成朝向正方向（如更严谨的推理），α < 0 推动朝向负方向（如更简洁的推理），α = 0 恢复原始行为。 多层引导：可在多个层同时施加引导： ~ hℓ,t = hℓ,t + ∑ αi ⋅ vℓi i 不同层的引导向量可以有不同强度，且方向不必一致，允许层间引导向量的方向差异，实现复杂的推理行为调制。 位置依赖引导：引导向量可以按推理阶段区分： •v ：推理起始阶段（prompt 处理后、首个推理 token 前） start •v ：推理中间阶段（生成中间的推理步骤时） middle •v ：推理结束阶段（收敛到最终答案前） end
2. 引导向量的获取 引导向量的获取是 CoT Steering 方法的核心。主要有三种学习范式： 范式一：对比激活差（Contrastive Activation Difference, CAD） 收集配对数据 D = {(x , y , y )}，其中 y 是期望的推理行为（如严谨且自我验证的推理），y 是反面的推理行为（如跳 + − + −

跃且不验证的推理）。引导向量定义为两类推理行为在指定层的激活差异均值： i i i i i vℓ = ∑ (h ˉ + (x i , y + ) − h ℓ i ˉ − (x i , y − )) ℓ i ∣D∣ i 其中 hˉ (x , y ) 为正向推理中所有推理 token 在层 ℓ 的平均残差流激活。 + ℓ i + i 范式二：基于优化的方向搜索（Optimization-based Direction Search） 将引导向量作为可优化参数，直接在目标任务上通过梯度下降搜索： v∗ = arg max E(x,y∗ )∼D [P (y ∗ ∣x; h + v)] − λ∥v∥22 v 其中 P (y ∣x; h + v) 是在激活被引导后的正确答案生成概率。正则化项 λ∥v∥ 约束引导向量的范数，防止过大偏移导致生 ∗ 2 成质量崩溃。 范式三：监督对比学习（Supervised Contrastive Learning） 训练一个编码器 f : R → R 将推理行为特征映射到引导空间。使用对比损失： ϕ d dv exp(sim(fϕ (hi ), fϕ (h+j ))/τ ) Lcontrast = − log ∑k exp(sim(fϕ (hi ), fϕ (h− k ))/τ ) fϕ 学会将良好推理的激活表示拉近，将不良推理的激活表示推远。推理时，引导向量为 f 输出的某个方向。 ϕ CAD（范式一）的简单性和有效性使其在实践中被最广泛采用。 3) 引导的数学形式 下面给出 CoT Steering 在 Transformer 解码器中的精确干预位置。 Transformer 解码器的每一层由两个子层组成：自注意力 SA 和前馈网络 FFN ，按残差求和： ℓ ℓ aℓ = SAℓ (RMSNorm1ℓ (hℓ−1 )) hmid ℓ = hℓ−1 + aℓ fℓ = FFNℓ (RMSNorm2ℓ (hmid ℓ )) hℓ = hmid ℓ + fℓ 引导向量 v 可施加在以下四个候选位置： ℓ •残差流后加（Residual Post-Add）：h ← h + αv ，最常用的位置，影响当前 token 的全部后续层。 ℓ ℓ ℓ •注意力输出加（Attention Output Add）：a ← a + αv ，仅修改注意力贡献。 ℓ ℓ ℓ •FFN 输出加（FFN Output Add）：f ← f + αv ，仅修改前馈贡献。 ℓ ℓ ℓ •嵌入后加（Post-Embedding Add）：h ← h + αv，在首个推理 token 前设置全局引导方向。 研究表明，在残差流后加（位置 1）通常给出最佳的推理行为干预效果，因为残差流是信息的主干道，后续所有层都会感 知这一修改。 4) 动态引导调度 CoT Steering 的一个关键优势是支持动态引导调度（Dynamic Steering Schedule），在推理链的不同阶段施加不同强度 和方向的引导向量。阶段感知的引导方案如表12-43 所示。 推理阶段 引导向量 目标 典型 α 问题理解 vparse 促进对问题结构的准确解析 0.3-0.5 制定计划 vplan 鼓励制定明确的解题计划 0.5-1.0 推理阶段 引导向量 目标 典型 α 逐步执行 vexecute 确保每一步的严谨性 0.5-0.8 自我验证 vverify 激活对中间结果的检查行为 0.8-1.5 收敛答案 vconverge 推动从推理收敛到确定答案 -0.3-0.3 表12-43 推理阶段感知的动态引导方案 阶段检测：自动检测推理阶段是动态引导的前提。可以通过以下方式实现： •关键词触发：检测推理链中的阶段指示词（如首先、接下来、验证、因此）切换到对应引导向量。 •分类器检测：训练轻量分类器，基于当前生成的 token 序列判断推理阶段。 •困惑度变化检测：推理阶段的转换通常伴随困惑度的特征变化（如验证阶段困惑度上升）。 平滑过渡：相邻阶段的引导向量应平滑过渡，避免突变： v(t) = (1 − β(t)) ⋅ vphasek + β(t) ⋅ vphasek+1 其中 β(t) 在阶段转换区从 0 线性/余弦变化到 1。 5) 与 Prompt-based 控制的实验对比 在 AIME 2024 数学推理和 MBPP 代码生成基准上，CoT Steering 与典型 prompt-based 方案的定量对比如表12-44 所 示。 方法 AIME 准确率 推理 tokens 每查询 FLOPs MBPP Pass@1 Zero-Shot（无引导） 0.22 680 基准 0.45 Prompt: “Let’s think step by step” 0.28 1250 +84% 0.48 Prompt: “Verify each step carefully” 0.31 2100 +56% (额外验证 tokens) 0.47 Prompt: “Think step by step and verify” 0.33 2400 +78% 0.50 CoT Steering (单向量, α=1.0) 0.38 980 +2% (向量加法) 0.52 CoT Steering (动态调度) 0.42 1050 +3% 0.55 CoT Steering (动态) + Prompt 基线 0.44 1100 +4% 0.56 表12-44 CoT Steering vs Prompt-based 控制的定量对比 如表12-44 所示，关键发现包括： •效率优势：CoT Steering 以接近零额外 token 开销（+2-3% FLOPs 来自向量加法）实现了显著优于 prompt 方法的准 确率（0.38-0.42 vs 0.28-0.33）。 •互补性：Steering + Prompt 联合使用可进一步提升（0.44），说明两种控制机制作用在不同层面，可协同增效。 •推理简洁性：动态 Steering 的推理 tokens（1050）显著少于复杂的 prompt 方案（2400），说明 Steering 能更高效地 传达推理控制意图，而无需冗长的 token 序列来描述。 6) 引导向量的几何与可解释性 引导向量在激活空间中具有清晰的几何解释，这为可解释性（Interpretability）提供了独特机遇。 方向性：引导向量 v 的方向对应了推理行为的轴。通过计算 v 与已知概念方向（如严谨性、简洁性、安全性）的余弦相 似度，可以揭示引导向量编码的具体行为语义。 叠加性：不同推理行为的引导向量具有近似线性叠加性： vrigorous+verify ≈ vrigorous + vverify 这一性质允许通过组合预定义的基向量来构造复杂的推理行为，而无需为每种组合重新学习。 向量的通用性：在同一模型家族（如 LLaMA 3 8B / 70B / 405B）内，共同训练的引导向量在不同模型规模间表现出显著 的迁移能力，在 8B 模型上学习的引导向量可以直接用于 70B 模型，仅需调整引导强度系数 α。 7) 安全性考量 作为一种对模型内部激活的直接干预，CoT Steering 引入了独特的安全考量： •越界引导风险：过大的 α 值可导致生成退化（Repetition、Nonsense）或模型过度自信地给出错误答案。建议设置 α max 上限并通过回退机制监控生成质量。 •对抗性引导：如果攻击者能控制引导向量（如在多租户环境中注入恶意向量），可能将模型推理引导至有害方向。需要 验证引导向量的来源和完整性。 •可逆性：与权重修改不同，激活空间引导是完全可逆的，停止施加引导向量后模型立即恢复原始行为。这一特性使 Steering 比微调（Fine-tuning）在安全边界内更可控。 •审计能力：引导向量的使用应当被记录和审计，每个推理请求施加了哪些引导向量、强度如何，以确保推理行为的透明 性和可追溯性。 8) 与 RL Controller 的关系 CoT Steering 和 RL Controller 是测试时计算的两个互补维度： •RL Controller：控制计算量（推理步数、token 预算），回答推理多久的问题 •CoT Steering：控制推理质量与方向，回答如何推理的问题 二者的组合使用形成了一个完善的推理时控制系统：RL Controller 决定推理 Step K （预算），CoT Steering 在每一步中 通过引导向量确保推理沿着期望的方向进行（质量）。这一组合在初步研究中已展示出超过各自单独使用的综合性能。

12.6.6 推理时退火

推理时退火（Inference-Time Annealing）将经典优化中的模拟退火（Simulated Annealing）思想引入 LLM 推理过程， 通过在多轮推理中逐步降低采样温度（Temperature），在早期轮次鼓励探索（Exploration）、在后期轮次聚焦利用 （Exploitation），以平衡推理的多样性与精确性。2026 年的研究表明，温度退火调度在数学推理和代码生成基准上相较 固定温度方案有显著性能提升，其背后的数学原理与马尔可夫链蒙特卡洛（MCMC）方法存在深层联系。

1. 从模拟退火到 LLM 推理 模拟退火（Kirkpatrick et al., 1983）是一种受冶金退火启发的全局优化算法，适用于组合优化问题。其核心流程为： Algorithm: Simulated Annealing (classical)

1. Initialize: current solution x, temperature T = T_0
2. While T > T_min:

    a. Generate candidate x' ~ proposal(x, T)
    b. Compute ΔE = cost(x') - cost(x)
    c. If ΔE < 0:

Accept x' (improvement) Else: Accept x' with probability exp(-ΔE / T) d. Decrease T: T <- T * α (α < 1) 3. Return best solution found 在 LLM 推理场景中，这一框架被自然转写为： •当前解 x：当前推理链（包括中间推理步骤和暂定答案） •候选解 x ：在温度 T 下重新采样的推理链 ′ •代价函数 cost(x)：推理链的负质量，如自我验证得分取负、外部验证器判分取负 •温度 T ：LLM 的采样温度，控制重新生成时对现有推理链的扰动程度 •接受准则：将传统退火的 exp(−ΔE/T ) 转化为：当新推理链更好时始终接受，当更差时以概率接受（概率随温度降低 而降低） 2) 退火温度调度的数学框架 推理时退火的核心是温度调度函数 T (k)，将推理轮次 k 映射到 LLM 采样温度。 通用调度形式： T (k) = Tmin + (T0 − Tmin ) ⋅ f ( ) k Kmax 其中 T 为初始温度，T 为最终温度，f : [0, 1] → [0, 1] 为单调递减的调度函数。 min 常用调度函数对比如表12-45 所示。 调度类型 f (x) 温度衰减特征 适用场景 线性调度 (Linear) 1−x 均匀递减 基准方案 指数调度 (Exponential) e−λx 前期快后期慢 需要快速收敛 余弦调度 (Cosine) 1 2 (1 + cos(πx)) 平滑递减 通用推荐 对数调度 (Logarithmic) 1 1+log(1+λx) 极慢递减 长推理链 阶梯调度 (Step) ∑i ci ⋅ 1[x ≥ si ] 分段恒定 多阶段推理 表12-45 温度调度函数对比 温度调度的探索与利用平衡演变如图12-24 所示。 Temperature Schedule Diagram (K_max=10) T₀ = 1.2 High exploration Rounds 1-3 T = 0.8-0.5 Moderate exploration Explore different reasonin g paths Exploration Rounds 4-7 Refine optimal path Exploitation T = 0.3-0.2 Slightly exploitative Rounds 8-10 T_min = 0.1 Pure exploitation 图12-24 温度调度的探索—利用平衡演变 3) 带温度退火的推理算法 以下给出完整的带温度退火的多轮推理算法： 初始生成： 使用初始高温 T （如 T = 1.2）生成第一个推理链 R 和答案 a 。高温鼓励模型探索不同推理路径，而非卡在第一个看起 0 0 0 0 来合理的思路中。 评分机制：每个推理链需要一个质量评分 Q(R)。常见评分方式： •自我一致性（Self-Consistency）：对最终答案在多次采样中的一致性评分 •自我验证（Self-Verification）：模型对自己的推理链进行多维度评估（逻辑正确性、步骤完整性、答案确定性） •外部验证器（External Verifier）：使用独立的验证模型或执行环境评分（如代码推理中使用测试用例通过率） •困惑度标量（Perplexity）：推理 token 的序列困惑度，低困惑度通常对应更流畅/更自信的推理（但需注意流畅不等于 正确） 迭代优化循环： Algorithm: Annealed Multi-Round Reasoning Input: query q, rounds K, initial temp T_0, final temp T_min Output: best answer a*

1. T <- T_0
2. Generate R_0 at temperature T, extract answer a_0
3. Q* <- quality_score(R_0), a* <- a_0, R* <- R_0
4. For k = 1 to K:

    a. T <- T(k) // Update temperature per schedule
    b. Generate R_k at temperature T, with context = (q, R*)
       // R* (previous best) is provided as in-context example
    c. Extract answer a_k from R_k
    d. Q_k <- quality_score(R_k)
    e. If Q_k > Q*:

Accept: R* <- R_k, a* <- a_k, Q* <- Q_k Else: // Metropolis acceptance: accept worse with prob at higher T ΔQ = Q_k - Q* (negative) p_accept = exp(ΔQ / (τ · T)) // τ is scaling factor If random() < p_accept: Accept: R* <- R_k, a* <- a_k, Q* <- Q_k Else: Reject: keep R*, a*, Q* 5. Return a* Metropolis 接受准则的作用：在高温阶段（T 大），exp(ΔQ/(τ ⋅ T )) 较大，即使是质量较低的新推理链也有较高概率被接 受，这鼓励了全局探索，防止陷入局部最优。随着温度降低，接受概率趋近于仅接受改进，即纯贪婪策略。 4) 温度退火与 MCMC 的深层联系 推理时退火与马尔可夫链蒙特卡洛（Markov Chain Monte Carlo, MCMC）方法存在数学上的深层联系。 温度与 Gibbs 分布：在统计力学中，温度 T 下的系统状态分布为 Boltzmann/Gibbs 分布： −E(R) PT (R) ∝ exp ( ) T 其中 E(R) 为推理链 R 的能量（低能量对应高推理质量）。在 LLM 上下文中，E(R) 可理解为负质量评分：E(R) = −Q(R)。 退火作为退火重要性采样（Annealed Importance Sampling, AIS）： 退火推理可被解读为 AIS 的一个实例：从高温下的平坦分布（所有推理链近似等概率）逐步过渡到低温下的尖锐分布（质 量最高的推理链概率远高于其他），最终从低温分布中采样作为答案。 Langevin 动力学的类比：退火调度下 LLM 采样的随机动力学可类比于 Langevin 扩散： dht = −∇E(ht )dt + 2T (t)dWt 其中 h 为推理状态的隐表示（在激活空间而非 token 空间），W 为标准布朗运动。T (t) 逐步减小意味着噪声项逐步衰 减，系统从随机探索过渡到沿能量梯度下降。 t t 这一类比为推理时退火提供了理论正当性：温度下降对应噪声减小，系统最终收敛到高质量推理链的局部最优区域。 5) 多轮推理的信息复用 直接的多次完整重采样（每轮从零开始生成完整推理链）在计算上昂贵。实践中采用多种信息复用策略： 策略一：前轮最优推理链作为 (In-Context) 示例 第 k 轮生成时，将前 k − 1 轮的最佳推理链 R 作为上下文的一部分提供给模型： ∗ k−1 promptk = [query; "Below is a previous attempt:"; R∗k−1 ; "Generate an improved reasoning:"] 模型会基于前轮推理的教训进行改进，修正前轮错误、补充遗漏步骤、增强逻辑严谨性。 策略二：KV Cache 部分复用 前轮生成的 KV Cache（键值缓存）在推理链相同前缀的部分可被复用，节省重新编码提示和相同 reasoning 前缀的计 算。对于 10 轮退火（每轮 2000 tokens），KV Cache 复用可节省约 40-60% 的推理 FLOPs。 策略三：差分编辑（Differential Edit） 仅重新生成前轮推理链中质量最低的部分（通过 token 级质量评分识别弱 token），其余分保持。这一策略在多轮推理中 逼近编辑而非重写的效率。 6) 实验基准 在数学推理（AIME 2024, MATH 500）和代码推理（LiveCodeBench）上的退火推理性能如表12-46 所示。 方法 轮次 K AIME 准确率 MATH 500 准确率 LiveCodeBench Pass@1 平均推理 tokens 单轮 (T=0.7) 1 0.24 0.68 0.32 850 单轮 (T=1.2) 1 0.21 0.65 0.29 920 单轮 (T=0.1) 1 0.18 0.63 0.26 720 Majority@5 (T=0.7) 5 0.32 0.74 0.38 4250 退火 (线性, K=5) 5 0.37 0.78 0.42 4800 退火 (余弦, K=5) 5 0.40 0.80 0.44 4900 退火 (指数, K=5) 5 0.38 0.79 0.42 4400 退火 (余弦, K=10) 10 0.46 0.84 0.50 9500 退火 (余弦) + 信息复用 10 0.47 0.85 0.51 5800 表12-46 退火推理与其他推理方案的实验对比 核心发现： •余弦调度普遍最优：在相同 K 下，余弦调度在各基准上的表现优于线性和指数调度（AIME: 0.40 vs 0.37/0.38），因其 在探索和利用之间的平滑过渡特性。 •退火优于独立采样：5 轮退火（余弦 K=5, 0.40）显著优于 5 次独立采样投票（Majority@5, 0.32），尽管二者使用的推 理次数相同。原因在于退火的跨轮信息传递，后轮可以从前轮的经验中学习改进，而非简单地取投票平均。 •更多轮次持续带来提升：K=10 的退火方案（0.46）对比 K=5（0.40），仍有显著的增量收益，边际回报递减但仍为正， 数学推理任务上测试时计算的持续回报特性再次被验证。 •信息复用显著提升效率：在 K=10 退火中加入 KV Cache 复用和 In-Context 示例策略，推理 tokens 从 9500 降至 5800 （-39%），准确率甚至略有提升（从 0.46 到 0.47），前轮推理链作为教训有助于模型避开已知的错误路径。 7) 自适应退火调度 固定温度调度假设所有查询在退火过程中行为相似。在实践中不同难度的查询受益于不同的温度轨迹。 自适应调度根据推理过程中的实时质量信号动态调整温度： •如果前后轮质量提升幅度大（ΔQ ≫ 0），维持当前温度（说明当前温度仍有探索价值） k •如果质量趋于饱和（ΔQ ≈ 0），加速降温（说明推理链已接近局部最优，应切换到利用模式） k •如果接受了一个较差推理链（Metropolis 接受），短暂提高温度（允许从新区域开始探索） 自适应调度的一个简单实现： T (k + 1) = max (Tmin , T (k) ⋅ α1[ΔQk >ϵ] ) 其中 α ∈ (0, 1) 为基础衰减因子，仅当最近一轮有显著改进（ΔQ > ϵ）时才衰减温度。无改进时温度保持不变。 k 8) 局限性与展望 •计算成本与回报的权衡：K 轮退火的推理成本约为 K 次独立生成的 0.6-1.0 倍（取决于信息复用程度）。对于简单查询， 额外的推理轮次可能回报极微。建议仅在推理密集型查询上使用退火推理。 •质量评分的可靠性：退火推理的性能上限受限于质量评分 Q(R) 的可靠性。如果评分机制不能准确区分好推理和差推 理，退火过程可能将模型引导至高分但错误的推理链。这被称为评分对齐问题（Scoring Alignment Problem）。 •推理模式的多样性：退火机制产生的多个推理链可能来自相似的推理模式（都基于相同的初始思路）。为促进真正的多 样性，可在退火中加入推理模式多样性奖励（Diversity Bonus），鼓励不同轮次探索不同的推理策略。 •与外部工具的整合：实际推理往往需要调用外部工具（计算器、代码执行器、搜索引擎）。在这些场景中，退火推理的 Metropolis 接受准则需要扩展以考虑工具调用结果，例如，代码执行的测试用例通过率应该是比推理链文本质量更可 靠的评分信号。

12.7 零标注推理

零标注推理（Zero-Annotation Reasoning）摆脱对人工思维链标注的依赖，通过环境验证与自我探索从零习得推理能 力，MindZero 是其代表性方法。

12.7.1 零标注心智推理

MindZero（零标注心智推理，Learning Online Mental Reasoning with Zero Annotations）是 2026 年提出的一种无需 人类标注思维链（Chain-of-Thought, CoT）数据即可从零开始习得推理能力的方法。其核心思想是通过 Self-Play 式的推 理-验证-学习循环，让模型在与环境的互动中自主发现有效的推理策略，从而绕过了传统 SFT（Supervised Fine- Tuning）路线对大规模人工 CoT 标注数据的依赖。

1. 问题背景 基于 SFT 的推理能力获取路径要求先收集大量高质量的思维链数据，人工标注者写出详细的推理步骤，然后用这些数据 微调模型。这一范式面临多个基本瓶颈： •标注成本巨大：竞赛数学级别的推理链需要标注者具备专业知识。一页 AIME 级别的推理链可能需要人类数学家 30 分 钟写出，标注 100K 条的成本可达数百万美元。 •推理模式受限于标注者：模型只能学到标注者使用的推理模式。标注者群体的推理风格和水平构成模型推理能力的天花 板。 •生成—标注的延迟：新推理场景（如新发布的科学论文中的推理类型）需要先收集标注数据才能训练，这一延迟在快速 变化的知识领域中难以接受。 •推理的可标注性：人类是否总能写出正确的推理过程？对于某些推理链（如大型搜索树的剪枝决策），人类自己也可能 不确定最优推理是什么，这使得 CoT 标注从根本上成为噪声标签。 MindZero 通过自我探索 + 环境反馈的闭环设计规避了以上所有问题。
2. 核心框架 MindZero 的训练循环由三个阶段构成：心智推理（Mental Reasoning）、执行验证（Execution Verification）和策略学 习（Policy Learning）。其 Self-Play 循环如图12-25 所示。 MindZero Self-Play Loop VerifyEnvironment Phase 1: Mental Reasoning （Code executor/proof che cker/calculator）

Generate reasoning chain Verification result R Phase 2: Execution verifica tion Execution Verification Generate next reasoning Reward signal r Phase 3: Policy Learning Policy Learning Update model parameters ('Model θ') 图12-25 MindZero 的三阶段 Self-Play 循环 阶段一：心智推理 模型接收一个问题描述 x，自主生成一个推理链 R = (r , r , … , r )： 1 T R ∼ Pθ (⋅∣x) 推理链包括中间的推理步骤和最终答案 a。与传统 SFT 不同，这一阶段没有任何人类参考推理链，模型完全自主探索推理 空间。 阶段二：执行验证 生成的推理链 R 中的答案 a 被送入一个可验证的环境进行评估： r = V(x, a) 验证环境的类型决定了可处理的推理领域： •数学推理：答案与标准答案比对（如 GSM8K, MATH, AIME 的数值答案） •代码生成：代码在测试用例上执行（如 HumanEval, Codeforces 的单元测试） •定理证明：证明在 LEAN/Coq 等交互式定理证明器中验证 •逻辑推理：推理结论在知识库或规则引擎中校验 关键是：验证是自动的、确定性的、低成本的，不需要人类判断。这是 MindZero 区别于 SFT 路线的根本特征。 阶段三：策略学习 基于验证奖励 r，通过强化学习更新模型参数： θ ← θ + η ⋅ ∇θ ER∼Pθ [r ⋅ log Pθ (R∣x)] 这里使用的是最简形式的 REINFORCE 梯度。在实际实现中，通常结合 PPO（Proximal Policy Optimization）或 GRPO （Group Relative Policy Optimization）进行更稳定的策略更新。 3) 心智推理的探索机制 MindZero 的核心创新在于如何在验证信号的引导下高效探索推理空间。 探索策略一：温度调控 在训练的不同阶段使用不同的采样温度： •训练早期（Exploration Phase）：高温采样（T = 1.2 ∼ 2.0），鼓励生成多样化的推理链 •训练中期（Refinement Phase）：逐渐降温（T = 0.7 ∼ 1.0），开始偏好高效推理 •训练后期（Convergence Phase）：低温采样（T = 0.3 ∼ 0.5），稳定在最优推理模式 这一温度调控策略与推理时退火在哲学上一脉相承，区别在于此处温度在训练时间轴上递减（跨训练 step），而非在推理 时间轴上（跨推理轮次）。 探索策略二：推理链多样性奖励 在策略梯度中加入显式的多样性奖励（Diversity Bonus），防止模型过早收敛到少数推理模式： rtotal = rcorrectness + λdiv ⋅ rdiversity (R, H) 其中 H 为最近生成的推理链历史（如最近 100 个 episode），r 度量当前推理链与历史推理链的差异度，衡量维度 diversity 可以是推理链的 n-gram 分布、推理步骤数差异、或推理策略（如使用了哪种算术方法）的熵。 探索策略三：课程学习与难度自适应 训练查询的难度应随模型能力增长而逐步升级： Algorithm: Curriculum for MindZero

1. Initialize: difficulty level d = 0
2. For epoch e = 1 to E:

    a. Sample queries from difficulty level d
    b. Compute average success rate s on these queries
    c. If s > τ_high: d <- d + 1 (advance difficulty)

If s < τ_low: d <- max(0, d - 1) (regress) d. Run M mental reasoning + verification episodes e. Update policy via RL 典型难度递增路径：基础算术 → 小学数学 (GSM8K) → 中学数学 (MATH) → 竞赛数学 (AIME) → 奥林匹克数学 (IMO- level)。每个阶段的能力由环境自动验证。 4) 心智仿真过程 “心智仿真”（Mental Simulation）是 MindZero 赋予推理过程的特殊解释视角。不同于将推理视为语言序列生成，心智 仿真将推理理解为模型在内部认知空间中运行一个模拟过程，最终将模拟结果翻译为 token 序列。 仿真层级： •概念级仿真（Concept-level Simulation）：在高层语义空间中预测推理步骤的合理性和后果，例如“如果我尝试用这 种方法，大概会导向什么结果？” •操作级仿真（Operation-level Simulation）：在具体的数学/代码操作空间中精确执行推理，如“设变量 x = 5，代入 方程得 2 ⋅ 5 + 3 = 13” •元级仿真（Meta-level Simulation）：对推理过程本身的评估和规划，如“这个方法行不通，我需要换一种思路” 这三层仿真在模型内部是交织进行的，其 “translation to tokens” 的本质解释了为什么 MindZero 学会的推理链有时与 人类书写风格不同：它们是对心智仿真过程的直接输出，而非对人类推理模式的模仿。 5) 训练循环的详细算法 以下给出 MindZero 训练循环的完整伪代码： Algorithm: MindZero Training Input: unlabeled queries D = {x_i}, verifier V Output: model parameters θ

1. Initialize θ from pre-trained base model
2. For epoch = 1 to E:

    a. Sample batch {x_i} from D (with curriculum difficulty)
    b. For each x_i in batch:
        i. Generate K reasoning chains {R_{i,1}, ..., R_{i,K}} ~ P_θ(·|x_i)

at current temperature T(epoch) ii. For each chain R_{i,k}: Extract answer a_{i,k} Compute reward r_{i,k} = V(x_i, a_{i,k}) Optionally compute diversity bonus d_{i,k}

        iii. Compute advantages: A_{i,k} = r_{i,k} - mean({r_{i,·}})
               // Group-relative advantage for variance reduction
    c. Compute policy gradient:

∇L = -mean_{i,k}[A_{i,k} · ∇θ log P_θ(R{i,k}|x_i)]

         + λ_kl · KL(P_θ || P_θ_old) // Prevent catastrophic forgetting
    d. Update θ: θ <- θ - η · ∇L
    e. Update temperature: T <- schedule(epoch)
    f. Update curriculum difficulty based on success rate

3. Return θ 关键设计选择： •组内相对优势（Group-Relative Advantages）：使用同一个查询的 K 个推理链的平均奖励作为基线，计算相对优势 A = r − rˉ 。这一做法等效于 GRPO 的核心理念。 i,k i,k i •KL 正则化：防止 RL 训练导致模型偏离基础预训练分布过远，引发灾难性遗忘（Catastrophic Forgetting）。λ 是重 KL 要的超参数，过大则推理能力提升缓慢，过小则模型基础语言能力可能退化。 •参考模型的更新频率：P （用于 KL 计算的参考模型）通常每 N 步更新一次。典型值 N = 50 ∼ 200 steps。 θold ref ref

6. 与 SFT 路线的系统对比 MindZero 与 SFT 路线的全面对比如表12-47 所示。 维度 SFT (人工 CoT 标注) MindZero (Self-Play) 数据需求 大量人工推理链标注 仅需问题+可验证答案 标注成本 极高（专业标注者 × 数万小时） 零标注成本 推理风格 受限于标注者风格 自主发现，可能超越人类 推理链正确性 标注者保证（有噪声） 环境验证保证（无噪声） 可扩展性 受限于标注速度 受限于环境验证吞吐量 对新领域的适应 需要收集新领域标注数据 只要有可验证环境即可 长尾推理的覆盖 标注者倾向覆盖常见模式 探索可覆盖长尾模式 训练计算量 较低（监督学习） 较高（RL 采样 + 验证） 推理质量表征 追求与人类推理的似然性 追求推理的正确性 验证器的必要 不需要（训练阶段） 必需（训练阶段） 表12-47 MindZero 与 SFT 路线的全面对比
7. 零样本泛化能力 MindZero 展现的零样本泛化（Zero-Shot Generalization）能力是其区别于 SFT 的显著特征之一。 泛化的来源： •推理策略的自主发现：模型在数学推理训练中可能发现具有跨域通用性的推理策略，如将复杂问题分解为子问题、先尝 试边界值、检查对称性，这些元策略能泛化到未训练的推理领域。 •环境验证的抽象层次：模型不仅学到了什么答案是正确的，更学到了如何才能得到正确答案的推理过程，因为验证信号 鼓励的是推理链的最终正确性，而非推理链与人类标注的相似性。 •探索的广度：Self-Play 式的探索覆盖了远比人工标注丰富的推理路径空间，使模型在遇到未见过的推理类型时更有经 验可调用。 实证发现：在 AIME 2024（竞赛数学）上训练的 MindZero 模型，在未训练的 MBPP（代码生成）和 GPQA（研究生级别 科学推理）上也展现出显著的推理能力提升，远超过单纯在数学数据上做 SFT 的基线。这表明 MindZero 确实习得了跨领 域的通用推理能力（Cross-Domain General Reasoning Capability），而非仅仅是数学领域的特定模式。
8. 验证环境的可扩展性 MindZero 的关键限制在于验证环境 V 的可用性。以下分析不同领域的验证可行性： 具有天然验证的领域： •数学（数值答案、等式验证） •代码（测试用例执行、类型检查） •定理证明（形式化证明检查器 LEAN, Coq, Isabelle） •游戏/规划（环境模拟器、目标达成检查） •化学/物理（分子模拟、物理方程求解器） 需要构建验证的领域： •医疗诊断（结构化诊断标准、专家系统） •法律推理（法规合规检查、判例匹配） •创意写作（无天然验证，MindZero 不适用） •哲学推理（无天然验证，MindZero 不适用） 可扩展验证的混合方案： •弱验证 + 置信度：对于无精确验证的领域，使用弱验证信号（如语法正确性、事实一致性）结合模型对自身推理的置信 度 •学习验证器：在部分标注数据上训练一个验证器（reward model），用于无天然验证的推理链评估，这回到了 SFT 和 MindZero 的中间地带
9. 局限性与未来方向 •验证信号的质量下限：MindZero 的性能受限于验证环境的信号质量。如果验证环境存在系统性漏洞（如测试用例覆盖 不全），模型可能学到利用漏洞而非真正推理，即奖励黑客（Reward Hacking）问题在验证环境中的版本。 •探索效率：在推理空间极度庞大的领域（如开放域数学研究），纯粹的随机探索可能效率极低。需要更智能的探索策 略，如将推理模式聚类、使用内在动机（Intrinsic Motivation）奖励新颖推理路径等。 •安全对齐：MindZero 训练中缺少人工标注者也意味着缺少对推理过程的安全性、道德性、无害性的把关。一个在数学 推理上训练的模型可能学到高效但不择手段的推理策略，当这些策略迁移到安全敏感领域时可能产生问题。 •与 SFT 的互补：在实践中，MindZero 和 SFT 并非互斥，最优方案可能是二者的结合：先用少量高质量标注数据通过 SFT 给模型一个基础推理能力（warm start），然后用 MindZero 的 Self-Play 循环在更大规模的无标注数据上自主优 化。初步研究显示这种混合路线既能降低训练成本又能提升最终推理质量。 •计算资源的规模化：MindZero 的训练需要大量并行推理-验证-学习循环，对 GPU 集群的吞吐量要求远高于 SFT。如何 将 MindZero 的训练流程高效规模化是工业应用的关键挑战。