第 6 章 AI 算法Transformer大模型

第 6 章预训练与数据

第6章预训练与数据

6.1 经典预训练范式

BERT、GPT 和 T5 分别代表了预训练时代的三种核心架构选择：仅编码器、仅解码器和编码器-解码器。三者在训练目标、信息流方向和下游能力上形成系统性差异，理解它们的共性与权衡是把握后续预训练目标演进的基石。

6.1.1 BERT 自编码范式

掩码语言模型任务掩码语言模型（Masked Language Model, MLM）是 BERT 的核心训练目标。给定一个输入序列，随机遮盖其中 15% 的 token，模型的任务是基于未被遮盖的上下文预测这些被遮盖 token 的原始值。与标准语言模型（从左到右预测下一个词）不同，MLM 允许模型同时利用左右两侧的上下文信息，这正是“双向”的含义。具体操作中，被选中的 15% token 并非全部替换为 [MASK] 标记，而是按比例分三种方式处理： •80%：替换为特殊标记 [MASK] •10%：替换为随机 token •10%：保持原 token 不变这种策略的用意是：训练中如果每次被选中的位置都变成 [MASK] ，模型在微调时（此时输入不含 [MASK] ）会遇到输入分布不匹配的问题。保留少量原文和随机替换迫使模型对每个位置都保持警觉，不完全依赖 [MASK] 标记的存在与否来判断是否需要预测。从信息论的角度，MLM 训练目标可以写为： LMLM = − ∑ log P (xi ∣ xM)

i∈M 其中 M 为被遮盖的位置集合，x 为未遮盖的上下文。这一目标不仅训练局部词语填空能力，更要求模型理解长距离的语法约束与语义连贯性。 M 2) 下一句预测任务除了 MLM，BERT 还引入了一个辅助任务：下一句预测（Next Sentence Prediction, NSP），如图6-1 所示。训练样本由句子对构成，50% 的样本中第二句是第一句的真实后继，另 50% 的样本中第二句是从语料中随机选取的无关句子。模型在 [CLS] 标记对应的输出向量上接一个二分类器，判断两句是否连续。 NSP 的设计初衷是让模型学会理解句子间的关系，这对于问答（QA）和自然语言推理（NLI）等下游任务至关重要。在 BERT 的输入格式中，两个句子通过 [SEP] 分隔，并配合分段嵌入（segment embedding）区分句子归属。然而，后续研究对 NSP 的必要性提出了质疑。RoBERTa（Liu et al., 2019）的实验表明，移除 NSP 并改用更长的连续文档作为输入反而带来了性能提升。ALBERT（Lan et al., 2020）将 NSP 替换为句子顺序预测（Sentence Order Prediction, SOP），只让模型判断两个连续句子的顺序是否正确，避免了 NSP 中以主题判断替代连贯性判断的捷径。这些消融实验表明，MLM 目标本身已经能学到足够的句子间关系。 [CLS] -> NSP Classifier Input: [CLS] tok1 tok2 [SE Token + Segment + Positio Transformer Encoder (12 o P] tok3 tok4 [SEP] n Embedding r 24 layers) Masked positions -> MLM Head 图6-1 BERT 的输入表示与双任务训练架构 3) 仅编码器的架构选择 BERT 采用纯 Transformer 编码器架构，不使用解码器。这一选择的背后是 MLM 目标的自然要求：重建被遮盖 token 需要双向上下文，而带因果掩码的解码器只能看到左侧上下文。 BERT-base 包含 12 个编码器层，隐藏维度 d = 768，12 个注意力头，总参数量约 110M。BERT-large 包含 24 层、 model = 1024、16 个头，参数量约 340M。两个版本均使用 BooksCorpus（800M 词）和英文维基百科（2,500M 词）进 d model 行预训练。仅编码器架构的直接影响是：BERT 天然不适合文本生成任务。模型的输出是每个位置的上下文表示，而不是下一个 token 的预测分布。对于需要逐 token 自回归生成的场景（如机器翻译、对话），BERT 需要额外的解码器或改用 Encoder-Decoder 架构。但对于分类、抽取、匹配、推理等理解类任务，仅编码器架构的高效双向表示能力是其核心优势。 BERT 还引入了可学习的绝对位置编码，与 Transformer 原论文的正弦位置编码不同。每个位置 i 对应一个可训练的位置向量 p ，直接与 token 嵌入相加。实验表明两种方案在性能上差异不大，但可学习位置编码在实现上更简洁。 i 4) 微调范式与下游任务适配 BERT 建立的预训练-微调（Pretrain then Fine-tune）范式成为 NLP 的新标准。其核心思想是：在大量无标注语料上预训练一个通用语言表示模型，然后在具体任务上添加轻量的任务特定层，全体参数（包括预训练参数）共同微调。 BERT 支持四类下游任务的适配： •单句分类（如情感分析）：取 [CLS] 位置的输出向量，接一个线性分类器，输出类别概率。训练时交叉熵损失同时更新分类器和 BERT 全部参数。 •句对分类（如 NLI、语义相似度）：输入形式为 [CLS] 句A [SEP] 句B [SEP] ，同样通过 [CLS] 向量分类。 •序列标注（如命名实体识别）：每个 token 的输出向量各自接一个分类器，独立预测标签。这种设计利用了 BERT 输出中每个位置都包含全局上下文信息的特性。 •抽取式问答（如 SQuAD）：模型需要在文章中找到答案的起止位置。对每个 token 学两个分数向量，分别对应答案起点概率与终点概率，取联合概率最高的片段作为答案。

 # Fine-tuning BERT for sentence classification
 from transformers import BertForSequenceClassification
 model = BertForSequenceClassification.from_pretrained(

"bert-base-uncased", num_labels=3 )

 # The [CLS] token output feeds the classifier head
 # All parameters (BERT + classifier) are fine-tuned together
 outputs = model(input_ids, attention_mask, labels=labels)
 loss = outputs.loss
 loss.backward()

微调阶段的超参数与预训练有明显差异。BERT 原论文推荐的微调配置为：batch size 16 或 32，学习率从 5 × 10 、4 × −5 10 、3 × 10 或 2 × 10 中选择，训练 3 到 4 个 epoch。由于微调数据量远小于预训练数据量，较小的学习率和较少的 −5 −5 −5 epoch 是防止过拟合的关键。预训练-微调范式的成功揭示了一个重要洞见：语言理解中许多能力（句法分析、语义消歧、常识推理）可以在无监督预训练阶段从大规模语料中自然习得，微调只需将这些能力引导到具体任务上。尽管生成式大模型在 2023 年后主导了 NLP 研究，BERT 及其 MLM 范式的遗产并未消失。2026 年的视角下，仅编码器模型依然是检索与表示学习的主力：主流的文本嵌入模型（Embedding Model）如 BGE、E5、GTE 均基于 BERT 类架构并配合对比学习微调，在检索增强生成（RAG）管道的召回与重排序阶段，BERT 级别的双向模型仍以更低的延迟与成本稳定运行。MLM 也并未退出训练舞台，它被广泛用于数据合成后的二次预训练，以及将大语言模型的知识蒸馏进检索模型的中间任务。 BERT 的深层贡献在于方法论而非具体架构：双向上下文表示、预训练-微调范式、以及任务无关的特征抽取思想，直接塑造了后续的对比学习与双塔检索设计。2026 年回望，BERT 的定位从「通用语言理解的终点」转变为「高效检索与表示的基础设施」，这一角色的延续本身就是其价值的最好证明。

6.1.2 GPT 自回归范式

语言模型的预训练目标 GPT 的预训练目标是标准语言模型：给定前文 token 序列，预测下一个 token 的条件概率分布。对于一个长度为 n 的语料 U = {u , u , … , u }，训练目标是最大化如下的对数似然： n n LLM = ∑ log P (ui ∣ ui−k , … , ui−1 ; Θ) i=1

其中 k 为上下文窗口大小，Θ 为模型参数。与传统 N-gram 语言模型不同，Transformer 解码器通过自注意力机制可以建模任意距离的依赖关系，突破了 k 的实际限制。这个目标与人类语言生成的内在方向一致，从左到右正是语言的自然流向。正因如此，自回归模型可以自然地执行文本续写、对话生成、代码补全等生成任务，无需任何结构修改。GPT-1（Radford et al., 2018）在 BooksCorpus 上预训练后，只需在分类任务末尾添加一个线性分类器即可微调，在 12 个任务中的 9 个超过了当时的专用模型。从数学本质看，自回归语言模型将联合概率 P (x , x , … , x ) 分解为条件概率的乘积 1 2 P (x )P (x ∣x )P (x ∣x , x ) ⋯ P (x ∣x , … , x )。这说明自回归模型在预训练阶段隐式地学习了任意前缀与后续 token n 1 2 1 3 1 2 1 的映射关系。 n n−1 2) 仅解码器的架构选择 GPT 系列采用纯 Transformer 解码器架构，如图6-2 所示。与 BERT 的编码器不同，解码器中的自注意力层包含因果掩码（causal mask），确保位置 i 只能关注位置 1 到 i，无法看到未来的 token。这一约束是自回归生成的根本保证，训练时必须与推理时的逐 token 生成行为保持一致。 GPT-1 的模型规格为 12 层解码器，隐藏维度 d = 768，12 个注意力头，参数量约 117M，与 BERT-base 相近。GPT-2 model （Radford et al., 2019）扩展到 48 层、d = 1600，参数量约 1.5B，同时将训练语料扩展为 WebText（约 800 万篇经 model 过质量过滤的网页）。GPT-3（Brown et al., 2020）进一步膨胀至 175B 参数，96 层、d = 12288、96 个头。 model 架构演进中有几个关键改进。GPT-2 引入了改进的层归一化策略：将 LayerNorm 移至每个子层的输入侧（Pre-LN），改善了深层网络的训练稳定性。GPT-3 论文中还实验了稀疏的带状注意力（Band Attention）以降低长序列的 O(n ) 计算开 2 销，但最终发布的模型仍使用稠密注意力。 Decoder Block Internals Layer Norm Masked Multi-Head Self-At tention + Input Tokens Layer Norm Feed-Forward Network + Token + Position Embeddi ng Transformer Decoder Bloc k (×N) LM Head: Linear -> Softma x P(next_token | prefix) 图6-2 GPT 仅解码器架构的计算流程 3) GPT 到 GPT-4 的演化主线从 2018 年到 2023 年，GPT 系列沿着四条主线持续演化： •规模扩大：GPT-1（117M）→ GPT-2（1.5B）→ GPT-3（175B）→ GPT-4（据估计约 1.8T，未公开），参数量逐代提升一至两个数量级。训练数据也从 BooksCorpus（5GB）扩展到 Common Crawl、WebText2、Books、Wikipedia 等多源混合语料（GPT-3 的原始抓取语料约 45TB，过滤清洗后用于训练）。 •训练策略的成熟：GPT-1 采用预训练+有监督微调的两阶段策略。GPT-2 开始探索 zero-shot 迁移，不做任何微调，直接在不同任务上评估。GPT-3 确立了上下文学习（In-Context Learning）范式，通过提供任务说明和少量示例来引导模型行为，无需更新参数。GPT-3.5/ChatGPT（2022 年）引入了人类反馈强化学习（RLHF），通过人类偏好数据训练奖励模型，再用强化学习优化模型输出。 •能力涌现：GPT-3 在约 13B 参数后开始展现出此前中小模型不具备的能力，包括多步算术推理、代码生成、语言翻译等。这些能力并非显式训练目标，而是从大规模语言建模中自发涌现的。 •多模态扩展：GPT-4（Achiam et al., 2023）开始接受图像输入，GPT-4V 和 GPT-4o 进一步整合视觉理解能力。虽然预训练目标仍是语言建模，但视觉信息的融入使模型从语言模型进化为通用基座模型。 2025 年发布的 GPT-5 系列将原生推理能力与统一工具调用整合进基座模型，同年开源的 Qwen3 与 2026 年的 DeepSeek-V4、Kimi K3 等在推理、长上下文与多模态上持续逼近闭源旗舰，开源与闭源的能力差距从「代际落后」收窄为「同代竞争」。这一演进并未改变自回归预训练目标本身，它仍是绝大多数生成式模型的第一性选择。 4) 零样本与上下文学习的能力 GPT-3 最重要的贡献之一是证明了大规模自回归语言模型可以通过上下文学习执行多种 NLP 任务，无需任何梯度更新。这一发现将 NLP 的研究范式从“预训练+微调”推向“预训练+提示（Prompt）”。上下文学习的三种形式构成了能力递进： •Zero-shot：仅给任务描述，不给示例。如 "Translate English to French: sea otter =>" •One-shot：给一个示例。如 "sea otter => loutre de mer, cheese =>" •Few-shot：给多个示例（10-100 个），这是 GPT-3 论文中使用的主要评估形式。 GPT-3 的 175B 版本在 SuperGLUE 基准上的 few-shot 性能接近 BERT 类模型的微调性能，在 TriviaQA 问答任务上甚至超越了微调。这一现象的理论解释仍在发展中，主流假说包括：大模型在预训练阶段通过大量文本隐式地学会了推理模式和任务切换能力；上下文中的示例通过注意力机制在输入层提供了一种“隐式梯度”。

 # Conceptual: GPT-style autoregressive
 def generate(model, prefix, max_new_tokens=50):
     """Autoregressive generation: sample one token at a time."""
     tokens = tokenizer.encode(prefix)
     for _ in range(max_new_tokens):
         # Causal mask ensures position i only sees [0..i]
         logits = model(tokens)          # (1, seq_len, vocab_size)
         next_logits = logits[:, -1, :] # Predict from last position
         next_token = sample(next_logits, temperature=0.8)
         tokens = torch.cat([tokens, next_token], dim=1) # Append
         if next_token == eos_token_id:

break return tokenizer.decode(tokens[0]) 这段代码展示了自回归生成的核心循环：每次前向传播只取最后一个位置的输出预测下一个 token，然后将其追加到序列末尾继续下一轮，整个过程与训练时的因果掩码严格一致。

6.1.3 T5 文本到文本范式

文本到文本的统一框架 T5 的文本到文本框架将分类标签、文本片段、数值回归等各类任务的输入输出，统一转化为文本输入和文本输出，如图 6-3 所示。分类任务不再是输出类别概率分布后取 argmax，而是直接生成类别名称字符串；问答任务的答案直接从文本中生成；翻译任务的输入前加 translate English to German: 前缀。这种统一的优势是多方面的。从工程角度看，同一套模型、同一套超参数、同一套损失函数（交叉熵）可以处理所有任务，无需为不同任务设计不同的分类头或解码策略。从研究角度看，任务间的迁移和组合变得自然，假如模型学会了翻译和摘要，它可能将二者组合成“将这篇法语文章用英文写一个摘要”。 T5 的架构采用标准的 Transformer 编码器-解码器。编码器使用双向自注意力，解码器使用因果掩码的自注意力加交叉注意力。这一选择将 T5 与 BERT（仅编码器）和 GPT（仅解码器）区别开来。Base 规格为 12 层编码器加 12 层解码器、 dmodel = 768 ；Large 为 24+24 层、d model = 1024 。 Task Format Examples Classification: 'mnli premi QA: 'question: Q context: Translation: 'translate Engl Summarization: 'summari se: X hypothesis: Y' C' ish to German: X' ze: X' All NLP Tasks Map to Text-to-Text Format T5 Encoder-Decoder Text Output 图6-3 T5 文本到文本框架的统一范式 T5 在 C4（Colossal Clean Crawled Corpus）数据集上预训练，该数据集从 Common Crawl 中过滤出英文文本，去除代码、占位符页和短页面后得到约 750GB 的干净文本。这一数据集的规模和质量都远超 BERT 使用的 Wikipedia + BooksCorpus（约 16GB）。
Span Corruption 预训练 T5 的预训练目标是一种称为“Span Corruption”（片段破坏）的自监督任务。与 BERT 的 MLM 遮盖单个 token 不同， Span Corruption 随机遮盖连续的文本片段（span），每个被遮盖的片段用一个独立的哨兵 token（sentinel token，如

、）替换，模型的目标是生成被遮盖的片段序列，各片段之间用对应的哨兵 token 分隔。 •输入： Thank you me to your last week. •目标输出： for inviting party 输入中 for inviting 被替换， party 被替换，末尾隐含的表示目标结束。这一设计的关键优势是：模型不仅需要学习填充缺失内容，还需要学习保持正确的输出顺序和哨兵标记的对应关系。 Span Corruption 与 MLM 的根本区别在于生成方式。BERT 的 MLM 是填空，在编码器输出上对所有被遮盖位置并行预测，不涉及解码器的自回归生成。Span Corruption 则是生成，解码器以自回归方式逐 token 生成目标序列。这使得 T5 的预训练目标天然就与生成任务对齐，为序列生成任务提供了更强的起点。 T5 论文对比了几种预训练目标的变体：denoising（类 BERT 的 MLM）、deshuffling（打乱 token 顺序后要求恢复）、语言模型（类 GPT 的从左到右生成）、前缀语言模型（Prefix LM，给定前缀后预测后续）。实验表明 Span Corruption 在大多数任务上优于其他目标，平均噪声密度设为 15%，平均 span 长度为 3 时效果最佳。 3) 架构与超参数的消融实验 T5 论文最著名的贡献之一是“Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer”，这是一篇长达 67 页的系统性消融研究，对预训练范式的几乎所有核心选择提供了实验证据。以下是关键发现： •模型架构：编码器-解码器架构在序列到序列任务上显著优于仅编码器或仅解码器架构，但在分类任务上三者差距不大。当模型参数规模一致时，编码器-解码器的计算开销（编码器需处理完整输入）略高于仅解码器，但性能回报在翻译和摘要等任务上物有所值。 •注意力机制：T5 测试了原始缩放点积注意力（d = 64）和几种变体。实验发现，简单地设置 d = d /h（即不做缩 model 放）与缩放版本效果相当，说明在充分的超参数调优下，注意力机制的精确形式对最终性能影响有限。 k k •激活函数：对比了 ReLU、GELU（高斯误差线性单元）和 SwiGLU。GELU 在大部分任务上优于 ReLU，而 SwiGLU （Shazeer, 2020）在部分任务上进一步小幅提升，但参数量增加（额外的线性变换层）。最终 T5.1.1 版本采用 GELU 以平衡效果与效率。 •无监督目标：对比了五种主要目标后发现 Span Corruption 在所有生成任务和多数理解任务上最优。一个出乎意料的发现是：前缀语言模型（Prefix LM）在分类任务上接近 BERT 的性能，同时保留了序列生成能力，暗示仅解码器架构在某些场景下可以兼顾理解与生成。

 # Conceptual: Span corruption in T5
 input_text = "Thank you for inviting me to your party last week."
 # Step 1: Select random spans
 spans = [(2, 4), (7, 8)] # token positions to mask
 # Step 2: Replace spans with sentinel tokens
 corrupted = "Thank you  me to your  last week."
 # Step 3: Target sequence for decoder
 target = " for inviting  party "
 # Loss: standard cross-entropy
 loss = cross_entropy(model(corrupted), target)

这段伪代码展示了 Span Corruption 的核心逻辑：随机选择连续的 token 片段，用哨兵 token 替换，模型需要生成包含原始内容的格式化输出。 4) 多任务微调策略 T5 探索了一种不同于传统单任务微调的策略：将多个下游任务混合在一起同时微调（Multi-Task Learning）。具体而言，所有任务的训练样本被混合到一个统一的训练集中，每个样本保留其任务前缀（如 cola sentence: ... ），模型在所有任务上同时优化。多任务微调的实验结果呈现双面性：当所有任务的数据量被缩放到相似规模（等比例混合）时，多任务微调的性能通常低于单任务微调。这是因为模型容量被分散在多个任务间，无法为每个任务学到最优的参数配置。但 Raffel 等人发现了一个例外：当将一个主任务（如 GLUE 所有子任务的总和）与少量辅助任务共同训练时，辅助任务可以提供正则化作用，小幅提升主任务性能。多任务微调的一个实用变体是“渐进式多任务微调”：先在大规模多任务数据上微调一个“多任务底座”，再在各个子任务上做轻量微调。这种策略可以减少部署成本，将多任务底座复制到各子任务环境中，每个环境只需存储一份模型和各自的轻量任务层。 T5 的另一个重要贡献是提出了决定性能上限的是模型规模而非微调策略的观点。论文的 scaling 实验表明：随着模型参数从 60M 增长到 11B，几乎所有任务的性能持续提升（未出现饱和），而且 11B 模型在同等计算量下优于在较小模型上训练更多步的方案。这一发现直接指导了后续更大型预训练模型的研究方向。

6.1.4 三范式对比

MLM vs LM vs Seq2Seq 三种预训练目标的形式化定义揭示了各自的本质差异。 MLM 目标要求模型从被破坏的输入中重建原始信息。给定输入 x 和一个随机遮盖位置集合 M，模型最小化： LMLM = −Ex,M [ ∑ log P (xi ∣xM)]

i∈M 其关键特征是：预测 x 时可以同时访问左右两侧的上下文（x M ），且所有被遮盖位置可以并行预测，不依赖顺序解码。 i LM 目标遵循链式法则，逐 token 生成： LLM = −Ex [∑ log P (xi ∣x<i )] i 预测 x 时只能访问左侧上下文，且必须顺序预测。代价是在训练时每个位置的计算是并行的（teacher forcing），但推理时强制串行。 i Seq2Seq/Denoising 目标（以 T5 的 Span Corruption 为例）介于二者之间：编码器接收被破坏的输入（双向注意力），解码器自回归地生成目标序列。这结合了 MLM 的双向编码优势与 LM 的自回归生成优势，代价是模型参数量增加（同时包含编码器和解码器）。 T5: Encoder-Decoder GPT: Autoregressive BERT: Autoencoding Input: The sat on the mat Encoder: Bidirectional Self Decoder: Causal + Cross-At Output: cat (generated) Input: The cat sat on the Decoder: Causal Self-Atten Output: mat (next token) Input: The [MASK] sat on t Encoder: Bidirectional Self Output: cat (per mask posi -Attention tention tion he mat -Attention ion) 图6-4 三种预训练范式的信息流对比从信息论角度看，如图6-4 所示，BERT 对每个位置的信息获取是对称的，左文和右文无差别可及。GPT 的获取是非对称的：每个位置只能访问已生成的前缀。T5 的编码器对称，但解码器同样非对称；这使 T5 在理解任务上具有 BERT 的优势，在生成任务上具有 GPT 的灵活性。 2) 各目标的优势场景每种预训练目标在不同的下游场景中展现出特有的优势。 •MLM 的优势场景集中在自然语言理解（NLU）。文本分类、情感分析、命名实体识别、关系抽取、自然语言推理等任务的核心需求是获取精确的双向上下文表示，这正是 MLM 的专长。BERT 在 GLUE 基准的 9 项任务上全线超越， RoBERTa 通过更大规模预训练和动态 MLM 策略进一步压缩了非 MLM 模型的空间。 •LM 的优势场景是文本生成和通用能力的涌现。GPT 系列在对话、写作、代码生成、翻译（无监督）四个方向上持续领先。GPT-3 的 few-shot 翻译能力（不专门针对翻译训练）接近甚至超越当时的有监督翻译模型，说明自回归语言建模隐式地学到了跨语言的语义对应。 •Seq2Seq 的优势场景是结构化的序列转换任务。机器翻译、文本摘要、数据到文本（如将 SQL 查询结果转为自然语言描述）等场景下，输入和输出的格式天然不同，编码器-解码器架构的分离设计恰好匹配这种不对称性。T5 在 WMT 翻译、CNN/Daily Mail 摘要等任务上需要更少的微调步骤即可达到与专用模型竞争的性能。三种目标的场景适配如表6-1 所示：任务类别首选范式次选范式说明文本分类 MLM（BERT） LM（GPT）双向上下文对分类更有利序列标注 MLM（BERT） Seq2Seq（T5）每个位置的输出可直接用于标注机器翻译 Seq2Seq（T5） LM（GPT）输入输出格式天然不对称文本生成 LM（GPT） Seq2Seq（T5）自回归生成最自然开放域问答 LM（GPT） Seq2Seq（T5）生成能力 + 知识存储抽取式问答 MLM（BERT） Seq2Seq（T5）需要精确的起止位置定位表6-1 任务类型与预训练范式的匹配 3) 训练效率与数据效率三个目标在训练效率和数据效率上存在可量化的差异。训练效率的核心指标是每个训练样本的有效学习量。BERT 的 MLM 每次训练只预测 15% 遮盖位置的 token，意味着每 100 个 token 中，只有约 15 个 token 对损失有贡献，其余 85% 的 token 只参与上下文编码。GPT 的 LM 目标下，序列中每个位置（除第一个外）都参与下一个 token 的预测，平均利用率约为 99%。从这一角度，LM 的数据效率远高于 MLM，这是 GPT 系列能在大规模预训练中持续获益的原因之一。 T5 的 Span Corruption 在效率上介于两者之间。实验结果（Raffel et al., 2020）表明：在固定计算预算下，Span Corruption 优于 MLM（因解码器自回归生成迫使模型更深入地理解序列结构），但略逊于纯粹的 LM（因为编码器处理了完整输入，增加了计算开销）。数据效率指在有限预训练数据下的学习效果。BERT 在较少预训练数据下（16GB 语料）仍能取得良好的下游任务表现，因为 MLM 的填空任务迫使模型利用局部和全局上下文。GPT 在数据稀缺时容易出现文本流畅度不足的问题，但在海量数据下（45TB+），自回归目标的知识密度得以释放。T5 的 C4 数据集（750GB）介于两者之间，在翻译和摘要任务上以中等数据量实现了与 GPT 类模型竞争的性能。一个被广泛引用的发现来自 Chinchilla（Hoffmann et al., 2022）的计算最优训练法则：对于给定的计算预算，模型规模与训练 token 数应等比例增长，而非盲目扩大模型。虽然 Chinchilla 使用的是自回归目标，但其结论对三种范式的数据预算分配具有参考意义。 4) 生成能力与理解能力的权衡理解与生成是 NLP 模型的两类核心能力，预训练目标在二者之间存在根本性的取舍。 •MLM 偏重理解，生成受限。BERT 的每个 token 表示中融入了完整的双向上下文，这使得它在需要精细语义判断的理解任务上表现卓越。但 BERT 完全缺乏自回归生成机制，无法逐 token 生成文本。让 BERT 输出文本的常见方案是 Mask-Predict 迭代策略（如 CMLM），即重复“遮盖部分低置信度 token → 预测 → 更新”的循环，但生成质量始终不如自回归模型。 •LM 偏重生成，理解有代价。GPT 的因果注意力限制了每个位置的信息获取范围。对于需要同时参考前后文的判断（如指代消解中的先行词与代词距离很远时），自回归模型需要将所需信息逐层传递通过注意力层，这在理论上不如双向注意力直接。然而，随着模型深度的增加（GPT-3 为 96 层），这种传递效率显著提升，在多数理解任务上的差距已缩小到几乎可以忽略。 •Seq2Seq 试图兼顾。T5 的编码器-解码器设计是理解-生成权衡的最直接解答：编码器负责理解（双向注意力），解码器负责生成（自回归注意力）。这一设计在理论上更优雅，代价是参数量约为同等规模的仅编码器或仅解码器模型的 1.5-2 倍。一个被大量实验证实的规律是：在相同参数量和预算下，纯粹的自回归模型在理解任务上可以通过增加层数来弥补因果注意力的损失，但纯编码器模型无法在生成任务上弥补自回归机制的缺失。这一不对称性解释了为何 GPT-4 在理解类基准上能与专用模型竞争，而 BERT 却无法用作对话生成底座。理解-生成权衡的实用启示是：选择预训练范式时，应先明确主任务的类型。如果目标应用以生成为主（对话、写作、翻译），LM/Seq2Seq 是正确方向；如果以理解为主（检索、分类、抽取）且不要求生成，MLM 的性价比最高。对于需要兼顾的场景，T5 式的编码器-解码器模型提供了最直接的工程方案，而 GPT 式的超大自回归模型则以“规模换通用”的思路从根本上消解了这一权衡。

6.2 数据管道与质量控制

数据工程是将原始网络语料转化为高质量训练数据集的系统工程。从分词与序列打包的底层组织，到过滤、去重与混合配比的质量控制，每一环节都直接决定模型的知识基础与能力上限。合成数据与数据墙的相关内容见 6.3 节。

6.2.1 数据管道基础

预训练数据管道现代预训练语料的构建通常遵循一个多阶段管道：原始抓取、清洗与去重、过滤、质量分类、混合配比，最后按配比进行分词与打包。每一阶段都直接影响最终模型的知识质量与安全属性。完整的管道流程如图6-5 所示。去重（Deduplication）是最先应用的环节。精确去重针对完全相同的文档，近似去重则基于 MinHash 或 SimHash 等指纹技术识别近重复文档。Common Crawl 中的重复内容比例极高，C4 与 CCNet 均证明了去重对困惑度与训练效率的显著改善，同时也降低了模型记忆并复述私有或敏感内容（Regurgitation）的风险。去重通常分层进行：URL 去重、文档级去重、乃至段落与句子级的交叉去重，层次越深，计算成本越高，收益则边际递减。过滤（Filtering）通常组合启发式与学习式方法：语言识别（如 fastText 分类器）筛选目标语言，词长与标点比例过滤噪声，质量分类器（如 GPT-3 提出的教师分类器、FineWeb 与 DCLM 的质量打分器）筛出高质量文本。PII 与毒性内容的移除则越来越成为合规前提。混合配比（Data Mixing）决定各领域语料的权重。经典做法是固定权重（如 RedPajama、Dolma 的公开配比），更精细的做法是通过降采样实验或缩放法则调优各领域权重。2024 年后的普遍实践是语料配比退火（Annealing），在训练末期将配比逐步转向高质量、高推理密度的领域（数学、代码、教科书），如 LLaMA 3 在训练收尾阶段将 50% 的数据权重转移到数学与代码，以提升推理与指令跟随能力。退火并非简单重排，它通常与训练末期的低学习率配合，让模型在高质量数据上完成最后的收敛打磨，这一组合被广泛视为推理能力的关键来源。 Raw Common Crawl Cleaning Deduplication (MinHash) Language + Quality Filter

Domain Mixing Annealing toward High-qu ality Tokenize + Pack into Sequ ences 图6-5 预训练数据管道的主要阶段分词器的训练数据选择同样重要：分词器在不同语料上训练，会得到不同的合并规则与 token 效率。业界普遍将分词器在更大、更多样的语料（覆盖所有目标语言与代码）上训练，并以其在保留语料上的压缩率（每词的 token 数）作为核心指标：压缩率高的分词器意味着更短的序列、更低的计算与存储成本，同一模型能力下拥有更强的竞争力。数据质量与数量的权衡是管道设计的主线。2024 年后 FineWeb、FineWeb-Edu、DCLM 等公开数据集的对比实验表明，经过严格过滤的高质量子集往往在约十分之一的量级上达到与全量相近的效果，驱动了「质量优先、数量退居次席」的转变。同时，合成数据（Synthetic Data）在训练后期逐步介入，用于弥补数学、代码、推理链等特定领域真实语料的稀缺，其比例与混入时机也成为配比退火策略的一部分。 2) 分词与架构的耦合分词器与架构、数据共同决定预训练效果。词表大小决定嵌入与输出头的参数量（约 V × d），分词效率决定相同上下文窗口能容纳的语义量，进而影响推理成本与 KV 缓存开销；中文与多语言模型常采用字符级或针对汉字的合并规则提升 token 效率，实践中按模型参数规模与目标语言范围联合设计词表。 3) 序列打包与训练数据组织分词与配比完成后，原始语料仍是长度差异悬殊的文档集合。GPU 集群上的训练以张量批处理（Batching）为基本单位，固定形状的输入张量要求同一 batch 内所有序列长度完全一致，直接对齐变长文档会引入大量填充（Padding）。填充位置不携带语义，却参与全部前向与反向计算，构成纯浪费：一个 batch 中有效内容的占比可能只有两三成。序列打包（Sequence Packing）将多条短文档首尾拼接进同一条固定长度序列，在消除填充的同时保持张量形状稳定，已成为 2026 年预训练数据管道中的标准环节。填充 token 占用与前向计算等量的显存与算力，而梯度恒为零：文档越短、占比越高，浪费越严重。以目标序列长度 2048、平均文档约 500 token 的通用爬取语料为例，朴素填充的平均有效利用率仅约四分之一，其余算力全部消耗在 padding 上。打包让每条序列的每个位置都承载真实内容，计算利用率逼近 100%，同时在相同显存预算下容纳更多有效 token，等价于扩大 batch 规模。它不改变模型结构，也不改变训练目标，只是把数据组织形式从「长度对齐」换为「内容填满」，因此是成本最低的吞吐优化之一。两者的对比如表6-2 所示。维度朴素填充序列打包计算利用率短文档占比越高浪费越大接近 100% 显存占用含无效填充区域全部为有效内容实现复杂度长度对齐即可需掩码与边界处理训练稳定性无跨文档干扰依赖正确掩码隔离表6-2 填充与序列打包的对比贪心打包（Greedy Packing）的核心流程是：将文档按长度降序排序，依次放入当前剩余空间最大且放得下的序列，放不下时开启新序列。降序排列保证长文档优先占据序列主体、短文档填充空隙，整体打包密度接近装箱问题的近似最优，计算开销仅为一次排序加线性扫描。核心逻辑的 PyTorch 伪代码如下：

 def greedy_pack(docs, seq_len, pad_id):
     # Greedy packing: sort documents by length descending
     docs = sorted(docs, key=len, reverse=True)
     sequences = []
     for doc in docs:
         # pick the least-filled sequence that still has room
         candidates = [i for i, seq in enumerate(sequences)
                       if len(seq) + len(doc) <= seq_len]
         best = min(candidates, key=lambda i: len(sequences[i])) \
                if candidates else None
         if best is None:
             sequences.append(doc)
         else:

sequences[best] = sequences[best] + doc # pad leftovers to fixed shape for the GPU batch return [seq + [pad_id] * (seq_len - len(seq)) for seq in sequences] 打包后的序列内嵌多条文档，必须用掩码隔离文档，否则注意力会跨越文档边界，使模型学到拼接位置的非自然依赖。注意力掩码（Attention Mask）采用块对角（Block-diagonal）结构：每个文档对应一个对角块，块内允许互相 attend，块间强制屏蔽，从机制上杜绝跨文档信息泄露。损失掩码（Loss Mask）只对文档真实 token 计算交叉熵，文档边界与填充位置不计损失，否则模型会被迫预测文档间的拼接噪声。文档边界标记同时支撑二者：真实文档用结束标记（如 <|end_of_text|> ）分隔，填充用 [PAD] 补齐，两类标记在掩码层面被严格区分，是保证打包训练正确性的前提。真实语料的文档长度呈幂律分布，绝大多数文档远短于目标序列长度，因此打包收益显著。经验数据显示，将朴素填充训练切换为序列打包后，有效计算利用率通常提升约 10-20%，训练吞吐随之等幅增长；在短文档占比高的通用爬取语料上收益尤为明显，在以长文档为主的语料（代码仓库、书籍、论文）上则相对有限。这一提升直接转化为训练成本的下降，是数据管道环节中少数能同时改善效率与质量的改动。主流框架对打包存在两种实现路线。Megatron-LM 采用拼接切块（Concatenate-and-chunk）：将去重后的连续文档流按固定序列长度均匀切分，一条序列可横跨多条文档，跨文档位置由注意力掩码屏蔽，实现简单、吞吐稳定，是超大规模训练的主流选择。Hugging Face datasets 库则内置基于长度的贪心打包接口，保留文档边界，适合需要精确文档归属的下游场景（如长上下文微调与检索增强）。2026 年的预训练框架普遍将打包下沉到数据加载器，与 token 化、去重管道一体化流水线执行。打包与并行策略存在协同关系。动态批处理（Dynamic Batching）按每步实际 token 预算动态调整 batch 形状，与打包共同逼近 GPU 显存上限，最大化有效吞吐。在张量并行（TP）、流水线并行（PP）、数据并行（DP）与序列并行（SP）构成的 4D 并行下，打包发生在数据加载阶段，输出固定形状的序列，因此不改变任何并行维度的分片边界；其吞吐收益被数据并行各 rank 独立享受，被称为「零成本」的优化手段。当目标序列长度扩展到 128K 甚至 1M，单条文档往往无法填满序列，打包退化为长文档切分与短文档拼接的组合。超长文档须按语义边界（段落、章节）切分以保持连贯性，跨切片的依赖则交由块级注意力或检索机制补偿，切片粒度因此成为打包的新决策变量，切得越粗，语义越完整，但碎片化填充越多；切得越细，填充越少，但长程依赖越弱。滑动窗口注意力（Sliding Window Attention）下打包仍可安全进行：窗口长度远小于文档长度，跨文档位置被窗口自然屏蔽，但需保证窗口掩码与块对角掩码的交集不被破坏。稀疏注意力（Sparse Attention）则要求掩码以块为单位对齐：若文档边界落在块内部，该块同时包含两个文档的有效 token，掩码计算与显存开销都会上升，因此长序列打包应将文档边界尽量对齐到稀疏块边界。打包由此在计算利用率之外，新增了掩码对齐这一约束维度。打包后的序列加载进 GPU 批次前还需过一次掩码组装，流程如图6-6 所示。 Documents (variable lengt Sort by Length (Descendin Greedy Pack into Fixed-len Block-diagonal Attention Loss Mask (real tokens onl Fixed-shape Batch h) g) gth Sequences Mask y) 图6-6 序列打包的核心流程

6.2.2 过滤体系

现代 LLM 的数据过滤并非单一阈值判断，而是一个由粗到精、从规则到模型的多层过滤金字塔。各层级的成本与精确度递增，共同构成一个可伸缩的质量控制体系，如表6-3 所示。

L1 启发式规则过滤（Heuristic Filtering）这是最轻量级的过滤层，通过硬编码的统计规则快速剔除明显低质量文本。典型规则包括： •长度过滤：丢弃字符数少于 50 或超过 100,000 的文档，剔除过短（无信息）和过长（常为日志/列表）内容 •符号比例：剔除特殊符号（#、@、URL 片段）占比超过 30% 的文本 •重复字符率：剔除同一字符连续重复超过 100 次的文本（常见于表格、日志） •语言识别：使用 FastText 或 cld3 过滤非目标语言文本，置信度阈值通常设在 0.7 以上 •亵渎/有害词表：基于黑名单的快速剔除 L1 层处理速度快（通常单 CPU 核可达 100+ MB/s），可剔除 20–40% 的原始数据，为后续昂贵过滤节省大量算力。
L2 统计质量建模（Statistical Quality Scoring）在 L1 基础上，使用统计语言模型对文档进行困惑度（Perplexity）评分： N PPL(d) = exp (− ∑ log p(wi ∣w<i ))

N i=1 通常使用 KenLM 训练的 n-gram 模型（n=5）计算困惑度。低困惑度表示文本符合正常语言分布；异常高或异常低的困惑度都可能是低质量信号，过高表示无意义文本，过低表示模板化或机器生成内容的重复模式。 FineWeb-Edu 数据集进一步引入教育价值分类器（Educational Value Classifier），用 BERT 级模型为每篇文档打分（0– 5 分），保留分数较高的文档以确保语料的知识密度。 3) L3 模型化质量评估（Model-based Quality Assessment）最昂贵但最精确的过滤层，使用小到中型的 Transformer 模型对文档进行质量打分： •分类器方法：在标注好的高质量/低质量文档对上训练分类器（如 DeBERTa-v3），输出质量概率用于阈值过滤 •LLM-as-Judge：使用 GPT-4 级别模型对文档进行批量质量排序（成本较高，通常仅用于验证集或学术评估） •奖励模型评分：用训练好的 Reward Model 对文档进行偏好评分，与下游任务对齐更好但通用性受限过滤层级方法示例处理吞吐滤除率成本（每TB） L1 启发式长度/符号/语言过滤约500 MB/s 20-40% < $1 L2 统计建模 KenLM PPL + 教育分类器约80 MB/s 10-25% 约 $5 L3 模型化 DeBERTa 分类器 / LLM-judge 约5 MB/s 5-15% 约 $50 表6-3 三层过滤体系对比

6.2.3 去重体系

重复数据是 LLM 训练的严重隐患，不仅浪费算力，还会导致评估基准污染（benchmark contamination）和记忆化过拟合（memorization）。现代去重体系在三个粒度级别上协同工作。

URL 级去重（URL-level Dedup）最基础的去重形式：相同 URL 来源的文档仅保留一份。这处理了同一网页被多次爬取的最简单情况。在大规模爬虫流水线中，通常由爬虫框架（如 Common Crawl 的 WARC 格式索引）内置支持。
文档级去重（Document-level Dedup）对于内容相同但 URL 不同（镜像站、转载）的文档，需要内容感知的去重，核心是 MinHash 与 SimHash 两种算法，对比如表6-4 所示：特性 MinHash SimHash 原理基于 Jaccard 相似度的概率估计基于海明距离的近似去重复杂度 O(N ) 建签名，O(kN ) 匹配 O(N ) 建签名，O(log N ) 匹配相似度度量 Jaccard（精确）余弦（近似）适用场景精确去重（0.7–0.9 阈值）近似去重（海明距离 < 3–4）代表工具 datasketch Python 库 Google’s simhash-py 表6-4 MinHash 与 SimHash 去重对比 MinHash 的数学原理如下：对文档的词元集多次应用不同的哈希函数，取每次的最小哈希值组成签名向量。两个文档签名的重合比例即为原始 Jaccard 相似度的无偏估计： k J^(A, B) = ∑ 1[MinHashi (A) = MinHashi (B)] k i=1

在大规模语料（10B+ 文档）上，通常结合 LSH（Locality Sensitive Hashing）将签名分桶，仅在桶内进行配对比较，将复杂度从 O(N ) 降至近似 O(N )。 3) 段落级去重（Paragraph-level Dedup）即使整篇文档不重复，其中某些段落（如版权声明、模板化导语）可能在大量文档中重复出现。段落级去重通常按换行符 \n\n 切分段落，再使用后缀数组（Suffix Array）寻找精确匹配的子串。BigScience ROOTS 语料库的处理流水线中采用了这一方法。 4) 语义去重与前沿进展传统去重方法依赖表面形式的相似度，无法处理同义改写（paraphrase）或翻译后的重复。语义去重（Semantic Dedup）使用预训练嵌入模型（如 all-MiniLM-L6-v2 ）计算文档嵌入的余弦相似度，能捕获深层语义重复。2024– 2025 年的工作（如 SemDeDup）表明，语义去重可在不显著降低训练数据量的前提下提升模型在下游任务上的性能。整个多级去重流水线如图6-7 所示。 Raw document collection URL dedup MinHash document dedup Paragraph-level dedup Semantic dedup? Sufficient budget Limited budget Embedding similarity ded up Final dataset 图6-7 多级去重流水线

6.2.4 数据混合与课程学习

过滤后的高质量数据需要按策略组合为训练混合（data mixture），这一步骤对模型的最终能力分布有决定性影响。

领域分类与配比设计首先需要将文档按领域分类：代码、数学、科学论文、维基百科、书籍、对话、网页文本等。分类可基于： •URL 域名的白名单规则（如 arxiv.org → 科学论文） •训练好的领域分类器（如 DCLM 使用的 fastText 分类器） •基于嵌入的聚类 + 人工标注分类后，每个领域在训练中的采样权重需要精心设计。DoReMi（Domain Reweighting with Minimax Optimization， 2023）提出了一种自动化方法：训练一个小的参考模型，通过极小化各领域的最坏情况损失来优化领域权重，使大模型训练时的数据混合显式地瞄准不被小模型充分覆盖的领域。
温度采样对于一个有 K 个领域、每个领域含 n 个文档的数据集，温度采样（Temperature Sampling）定义领域 k 的采样概率为： k 1/τ nk pk =

1/τ ∑K j=1 nj 其中 τ 为温度参数。当 τ → ∞ 时，退化为均匀采样（各领域等概率）；当 τ = 1 时，按原始数据量比例采样。调节 τ 可以提升小语料领域（如高质量教科书）的出现频率，抑制大语料领域（如网页爬虫）的主导地位。 3) 动态课程学习静态混合假设训练全程最优权重不变，这在实际中并不成立。课程学习按训练进度动态调整数据分布： •难度递进：训练初期多用简单文本（维基百科），后期逐步引入复杂内容（论文、代码） •损失加权：根据各领域当前的训练损失动态调整采样权重，优先训练损失较高的困难领域 •退火策略：训练尾声逐步提高高质量数据的权重（如 Llama 3 在最后阶段提高代码和数学数据比例）

6.2.5 性能、安全与多语言

本节从三个维度审视数据工程的工程性约束：各环节的量化收益、数据安全防御，以及多语言场景下的适配。

数据工程对性能的影响以下整理来自多篇论文的消融实验结果，展示各数据工程环节的量化收益（以 MMLU 和 HumanEval 为代表性 benchmark）：数据工程步骤设置 MMLU 提升 HumanEval 提升参考文献启发式过滤 L1 过滤 vs 无过滤 +2.1% +1.3% Penedo et al. 2023 模型化过滤 L3 过滤 vs 仅 L1+L2 +1.8% +0.9% FineWeb-Edu 2024 文档级去重 MinHash 去重 vs 无去重 +0.8% +0.6% Lee et al. 2022 语义去重 SemDeDup vs 仅 MinHash +0.5% +1.2% Abbas et al. 2024 DoReMi 混合优化权重 vs 均匀混合 +3.2% +2.1% Xie et al. 2023 课程学习动态 vs 静态混合 +1.1% +3.5% Li et al. 2024 表6-5 各数据工程环节的量化收益从表6-5 可见，数据混合策略（DoReMi）和课程学习对下游性能的影响显著高于单纯的过滤与去重，数据如何被组织与数据本身的质量同等重要。课程学习对 HumanEval（代码生成）的提升（+3.5%）远超 MMLU（+1.1%），反映出代码数据因其高复杂度，对训练顺序的敏感性远高于通用文本。
数据中毒与安全过滤除了质量和冗余问题，现代数据工程还必须应对数据中毒（Data Poisoning），即恶意行为者有意识地向训练数据注入对抗性样本，以操控模型行为。典型的中毒模式包括： •后门攻击（Backdoor Attack）：在训练数据中插入带有特定触发词（trigger phrase）的样本，使得模型在遇到该触发词时切换为恶意行为模式（如输出特定的有害内容）。例如，在训练数据中散布大量“以 ###TRUSTED### 开头的提示应该无条件执行”的样本。 •标签翻转（Label Flipping）：在指令微调数据中，故意提供错误的高质量回复，使得模型学习到系统性的错误行为。 •供应链污染：通过污染的 HuggingFace 数据集或模型仓库间接污染下游模型的训练数据。这是一种更隐蔽的攻击面，因为数据使用者通常不会完整审计上游数据集。防御策略包括： •基于困惑度的异常检测：中毒样本通常在正常语言模型下的困惑度异常 •语义聚类分析：通过嵌入空间聚类发现统计上异常的样本群 •源签名验证：对关键数据来源（如教科书翻译、代码索引）进行完整性校验和来源追踪 •差分隐私训练：在训练过程中加入噪声，降低单一样本对模型参数的影响幅度数据中毒的攻击面与防御层的对应关系如图6-8 所示。 Attack Surface Backdoor trigger injection Mislabeling/flipping Supply chain poisoning Defense Layer Perplexity anomaly detecti Embedding clustering anal Source signature verificati Differential privacy trainin on ysis on g 图6-8 数据中毒的攻击面与防御层对应关系
多语言数据工程将英文语料上的数据工程方法直接迁移到多语言场景时，面临一系列独特的挑战。 FastText 等语言分类器在短文本上的准确率显著下降（< 50 字符时准确率可能不足 80%）。此外，代码切换（code- switching）文本（如中英文混合的技术文档）是质量过滤中的灰色地带。大部分去重和过滤工具是为英文优化的。基于 n-gram 的 MinHash 在 CJK（中日韩）语言上的效果与英文存在差异，因为 CJK 语言的词边界模糊，有效的 n-gram 定义本身就存在争议。对于使用人数较少的语言，数据工程中每个过滤步骤的保留率都至关重要。英文语料中滤除 30% 可能只留下数万亿 tokens；但对某些非洲语言，滤除 30% 可能导致可用的纯文本仅余数百万 tokens。这要求在低资源语言上使用更保守的过滤阈值。不同文化对“有害内容”的定义存在差异。统一的有害词表可能在某种语言中过滤掉无害内容，或在另一种语言中遗漏关键的有害信号。一些文化敏感的内容类别（如宗教、政治表达）在不同国家和地区的治理框架下有截然不同的处理要求。
数据工程自动化数据工程正从手工调参向自动化方向演进，几个关键趋势如下： •Google 的 Data Selection via Optimal Transport 方法将数据混合问题建模为最优传输问题，即求从源数据分布到目标能力分布的最优映射。通过端到端优化，避免了手动调节温度采样的 τ 参数。 •在训练过程中周期性地评估各数据源对下游 benchmark 的贡献度，动态调整采样权重。这是一种边训练边选数据的方案，在算力消耗和数据质量之间寻求更好的平衡点。 •随着数据工程日益复杂，学术界和产业界正在推动“数据配方”（Data Recipe）的标准化：将数据来源、过滤参数、去重阈值、混合权重等信息打包为可复现的配置文件（如 YAML/JSON 格式）。HuggingFace 的 Data Measurements Tool 和 EleutherAI 的 lm-eval-harness 都在朝此方向推进。数据工程从手工到自动化的演进如图6-9 所示： Traditional Pipeline Future Pipeline Manual rules Automated search Static thresholds Evolution direction Dynamic thresholds Offline evaluation Online feedback 图6-9 数据工程从手工到自动化的演进

6.3 合成数据与数据墙

当互联网上可获取的自然文本接近开采上限时，合成数据成为突破数据瓶颈的关键手段。本节梳理合成数据的生成方法、质量边界与经济性，并讨论数据墙约束下的自循环走向。

6.3.1 合成数据方法

合成数据概述合成数据（Synthetic Data）由大语言模型自身生成，而非爬取自网络，它成本可控、格式灵活、可针对特定能力定向生成，但也引入了模型坍缩（Model Collapse）和多样性丧失等新型风险。
三代技术谱系合成数据方法可按自动化程度和生成范式分为三代，如表6-6 所示：代际代表方法核心范式人工参与度典型规模第一代 Self-Instruct (2022) 种子 + 自举生成需要种子任务（175 个） 52K–82K 条指令第二代 Evol-Instruct (2023) 进化式指令复杂化仅需初始提示 70K–250K 条指令第三代 Impossible Distillation / MSR (2025–2026) 蒸馏 + 最小充分表示无需人工种子百万级样本表6-6 合成数据方法三代演进
Self-Instruct Self-Instruct（Wang et al., 2022）是合成数据方法论的起点。其核心流程如下：

种子池：人工设计 175 个多样化的任务指令作为种子
指令生成：从种子池采样 6–8 条指令作为上下文示例，让 LLM 生成新的任务指令
分类与过滤：对生成指令进行自动分类（生成、分类、问答等），过滤低质量或重复指令
实例生成：为每条指令生成输入和输出对
质量过滤：用启发式规则（低 ROUGE-L 相似度、合理长度等）过滤生成结果 Self-Instruct 的核心局限在于多样性由种子池决定，如果种子池中缺少某类任务，生成结果也不会包含。此外，分类阶段的准确率有限，导致生成数据中含有一定噪声。

Evol-Instruct Evol-Instruct（Xu et al., 2023）引入进化算法思想，将指令的复杂度和多样性自动递增。其核心算子包括： •深度进化（In-depth Evolving）：在原指令基础上添加约束条件、增加推理步骤、引入多步依赖 •广度进化（In-breadth Evolving）：从原指令衍生成一个不同的新任务，保持难度但变更主题 •消减过滤（Elimination Filtering）：过滤掉那些进化后与原指令无显著差异的“无效进化”产物 Evol-Instruct 的关键洞察是：LLM 具有“指令放大器”的能力，给定一个简单指令，它可以生成一个与之相关但更复杂的对应版本。这一特性使得 Evol-Instruct 可以纯粹依靠 LLM 自身的生成能力来实现指令集的多样化和复杂化。 WizardLM 系列模型通过 Evol-Instruct 合成训练数据，在 MT-Bench 和 AlpacaEval 上取得了与更大参数量的封闭源模型可比的效果。WizardLM-2（2024）进一步引入了多 Agent 协作进化，用多个模型互相审查和改进彼此的生成结果。
最小充分表达方法 2026 年的 Minimal Sufficient Representation（MSR）框架代表了合成数据方法论的重要转折：不再依赖种子数据或人工提示，而是从“目标能力”的数学描述出发，逆向推导覆盖该能力所需的最小数据分布。MSR 的核心步骤：

能力分解：将目标领域能力（如法律推理）分解为一组不可约的基本子能力（如法条检索、案例类比、反方论证）
表示构建：为每个子能力构建一个最小充分的数据生成模板，确保覆盖该子能力的所有关键变体，但不产生冗余
参数化采样：通过在模板参数空间中进行分层采样（Stratified Sampling），确保合成数据的覆盖率最大化
自洽性验证：用多个 LLM 对生成样本进行自洽性检查，低一致性的样本被丢弃 MSR 方法的关键优势在于可证明的覆盖率，对于可形式化的能力（如数学证明、代码生成），可以构造出完备度接近 100% 的合成数据集。对于开放域任务（如创意写作），MSR 则退化为采样密度的启发式最大化。

BenchEvolver BenchEvolver（2026）将合成数据的应用从训练拓展到评测基准的自动进化。其核心思想是：传统静态评测基准（如 MMLU）随着模型能力的提升逐渐饱和，需要能够自动变难的评测套件。BenchEvolver 的工作流程：

种子基准锚定：以现有高质量基准（如 MMLU-Pro）为种子
难度增量生成：对每道题目施加“复杂度扰动”（添加无关信息、增加推理链长度、引入多步依赖），生成更难的变体
解校验：确保生成的新题目答案唯一且可验证（通过多个 LLM 的多数投票）
区分度评估：保留那些能有效区分模型能力差异的题目（即强模型做对而弱模型做错的题目） BenchEvolver 产出的评测称为“不断变难的基准”，避免了模型厂商刷榜式的过拟合，为能力评估提供了更可持续的框架。

6.3.2 合成数据质量

质量陷阱尽管合成数据看似无上限，实践中存在四个主要质量陷阱： •模型坍缩（Model Collapse）：当模型在自身或其前代模型生成的数据上反复训练时，数据分布的尾部信息逐渐丢失，最终收敛到退化的窄分布 p (x) → δ(x − μ)（n → ∞ 且无新鲜数据注入时）。Shumailov et al.（2024）证明，即使第一代合成数据看似高保真，多轮迭代后模型能力也会急剧退化，因此合成数据不能形成封闭循环，必须持续注入新鲜的 n 人类或自然数据作为锚定。 •多样性丧失：LLM 生成的内容天然倾向于高频模式和主流观点，冷门但正确的知识在合成数据中被系统性抑制。 Padmakumar et al.（2024）发现，用 LLM 合成数据训练的模型在长尾知识评测中表现显著差于用原始网络数据训练的模型。 •幻觉传播：源模型自身的幻觉（如虚构的事实、错误的推理）会通过合成数据传播给被训练模型。由于合成数据的格式通常比原始文本更规整，被训练模型可能对幻觉内容有更高的置信度，即学会把错的说得更肯定。 •多样性质量权衡（Quality-Diversity Tradeoff）：提升合成数据的质量（通过更强的源模型、更严格的自洽性过滤）通常以降低多样性为代价，只有模型确信的内容才会通过质量检查，而这些内容正是模式化的。这形成了一个根本性的权衡。四个质量陷阱及其相互关联如图6-10 所示： Four Major Pitfalls of Synthetic Data Tail information loss Model Collapse Diversity Loss Increased patterning Hallucination Propagation Reduced uncertainty Quality-Diversity Tradeoff 图6-10 合成数据四大质量陷阱及其互相关联
质量度量评估合成数据质量需要同时考察以下维度，如表6-7 所示：度量维度指标测量方法事实准确性 Factual Accuracy 用知识图谱或搜索引擎验证生成内容中的事实断言多样性 Self-BLEU / Vendi Score 生成样本之间的平均 BLEU 越低越多样；Vendi Score 衡量分布熵难度分布 Difficulty Histogram 用强/弱模型在该数据上的 loss 分布衡量难度覆盖覆盖率 Coverage over Reference 合成数据覆盖多少比例的参考能力空间下游增益 Delta on Downstream Tasks 用合成数据训练的模型 vs 用等量自然数据训练的模型表6-7 合成数据质量的多维度量体系
缩放规律合成数据的缩放行为与自然数据存在本质差异。初步研究（2024–2025）揭示了以下规律： •质量饱和更早：合成数据的性能增益在远小于自然数据的规模上即开始饱和，因为合成数据的有效信息密度高但多样性上限低 •源模型能力是关键约束：合成数据质量的上限是其源模型的能力。用 GPT-4 合成的数据和用 LLaMA-2-7B 合成的数据在质量天花板上存在数个数量级的差距 •输出格式比内容更决定下游效果：合成数据的输出格式（推理链长度、结构化程度）对下游推理能力的影响往往大于内容本身一项对阿里 Qwen 技术报告的分析显示：Qwen 2.5 系列模型在数学基准上的大幅提升，有约 40% 可归因于合成数学数据的引入，约 30% 来自评测对齐优化，仅约 30% 来自模型规模的增大。合成数据的杠杆效应在此处显著。
经济学合成数据的成本结构与传统数据获取存在根本性差异。理解这一差异是制定数据策略的关键前提。以 Common Crawl 为例，月均爬取 300TB 数据，成本包括爬虫基础设施（约$50K/月）、存储（约$10K/月）、处理计算（约$100K/月）。边际成本递减：多 1TB 的边际成本接近于零（爬虫持续运行的自然产出）。以 GPT-4 级别的模型生成为例，每百万 token 的 API 调用成本约 $10–30。生成 100B tokens 的成本约为 $1M–3M。边际成本基本恒定，每多 1B token 需要额外的模型推理算力。两者在规模维度上的交叉点决定了合成数据的“经济可行性边界”：数据规模传统爬取+过滤成本合成数据生成成本经济最优 1B tokens 约$20K 约$15K 合成 10B tokens 约$50K 约$150K 爬取 100B tokens 约$80K 约$1.5M 爬取 1T tokens 约$200K 约$15M 爬取表6-8 数据获取成本对比从表6-8 可见，合成数据在小规模、高价值领域具有明确的成本优势，例如生成 1B token 的高质量数学推理解法，合成数据不仅成本更低，质量也远高于网络上可爬取到的数学内容。但对于通用文本的 TB 级补充，传统爬取+过滤仍是经济选择。在实际工程中，最优方案是混合使用两种数据源：用传统方法覆盖 90%+ 的数据量（通用知识和语言能力），用合成方法定向增强 5–10% 的高价值数据（数学、代码、推理链）。从成本角度，这种混合策略在总数据成本中仅增加约 15–20%，却可以带来 30–50% 的特定能力提升。
审计随着合成数据在训练中的占比日益提高，对合成数据本身的质量审计变得不可或缺。当前实践中使用的主要审计方法包括： •分布距离监测：通过计算合成数据集与自然参考数据集之间的最大均值差异（Maximum Mean Discrepancy, MMD），量化合成数据是否偏离了自然语言分布。MMD 值持续增大是模型坍缩的早期信号。 •能力覆盖检查：在能力分类体系（如 BIG-bench 任务分类）上，检查合成数据集对各类能力的覆盖度。覆盖率下降通常预示着多样性丧失。 •自洽性核验：对每条合成数据生成多个变体，用不同的源模型评分。自洽性低（不同模型给出截然不同的回复）的样本通常是质量可疑的信号。 •人工抽样评审：对合成数据定期进行人类评审抽样（如 1% 的随机样本交人工检查）。虽然成本较高（约 $0.5–2/样本），但这是发现幻觉和格式错误的最可靠方式。
基础设施随着合成数据规模从 GB 级向 TB 级增长，对基础设施提出了新的要求。一个集成的、可扩展的合成数据生产线，包含源模型池、生成引擎、质量过滤器、多样性控制器和版本管理器。关键设计原则是生成和验证的异步解耦，允许生成速度远快于验证速度（生成由 GPU 密集型 LLM 推理驱动，验证可由 CPU 密集型规则引擎批量执行）。由于合成数据生成依赖于特定版本的源模型和特定的提示模板（prompt template），需要像管理软件版本一样管理合成数据版本。当源模型升级（如从 GPT-4 升级到 GPT-4.5），即使使用相同的提示模板，生成的合成数据也会发生分布偏移（distribution shift），这种偏移需要被显式追踪和测试。在下游模型训练完成并评测后，将各 benchmark 上的能力增益和退化信息反馈给合成数据工厂，使其自动调整后续批次的生成策略。这一闭环是合成数据质量持续提升的关键机制，也是应对模型坍缩风险的有效手段。合成数据工厂的闭环架构如图6-11 所示： Synthetic Data Factory Generation engine: multipl e LLMs Quality filter: rules + mode l scoring Diversity controller: distrib ution entropy monitoring Adjust parameters Version manager: Prompt Update thresholds + Model version tracking

Data output Rebalance Downstream model trainin g Performance feedback Factory strategy adjustme nt 图6-11 合成数据工厂的闭环架构

6.3.3 数据墙与自循环

数据墙（Data Wall）是 LLM 预训练面临的最严峻约束：高质量自然文本的供给增长已跟不上训练需求的增长。合成数据的注入能延缓但无法消除这一约束，理解其量化形态与自循环边界，是判断数据工程走向的前提。

数据消耗量化高质量文本数据的总量和消耗速度如表6-9 所示：数据类型全球总存量（估计）已消耗量（估计）年度消耗速率网页文本约500T tokens 约200T tokens 约80T/年书籍约50T tokens 约25T tokens 约8T/年学术论文约15T tokens 约8T tokens 约3T/年代码约80T tokens 约30T tokens 约15T/年多模态（图像+视频）约1000T token-equivalent 约200T 约100T/年表6-9 各类型数据的全球存量与消耗按当前速率，高质量文本数据（网页+书籍+论文）可能在 2027-2028 年耗尽。代码数据的消耗更快，开源代码库的增长速度已经落后于训练数据需求的增长速度。
合成数据自循环合成数据，即用模型生成数据来训练模型，是突破数据墙的主要方向。但其可行性取决于一个关键问题：合成数据能否形成不退化（甚至提升）质量的自循环？设训练数据的质量分布为 Q ，第一代模型 M 在 Q 上训练。M 生成合成数据集 D ，其质量分布为 Q = f (Q )。第二 0 1 0 1 1 1 0 代模型 M 在 D 上训练。当且仅当 D (Q ∥Q ) < ϵ 时，合成数据的质量退化可控。 KL Shumailov 等人（2023-2024）已证明，在没有外部新鲜数据注入的情况下，多代合成数据训练会导致模型坍缩，生成质量逐代指数下降。2026 年的研究进一步量化了这一风险，如表6-10 所示：混合比例第1代第3代第5代第10代 100%合成 95% 78% 52% 2.1% 50%合成+50%真实 100% 97% 94% 88% 20%合成+80%真实 100% 99% 98% 96% 表6-10 合成数据混合比例对模型退化的影响（以在 MMLU 上的相对精度为指标，第1代=100%）少量（20-50%）的真实数据锚定可以显著延缓坍缩，全合成数据在第 5 代之内就会坍缩。
合成数据与能力正反馈 2026 年的研究进一步表明，合成数据不仅延缓数据墙的到来，还可能通过与训练、评测的正反馈成为能力放大器。其一，BenchEvolver 不再直接合成训练数据，而是合成更难的问题来迫使模型在 RL 中探索提高，形成「难的基准 → 更好的 RL → 更好的模型 → 更好的合成能力 → 更难的基准」的正反馈。其二，领域特化合成通过最小充分表示（MSR）提取领域的核心信息结构，而非简单地生成表面文本，保留了更多领域信号、减少了噪声。MSR 引导的合成与训练构成闭环，如图6-12 所示。 Real Data Extract minimum sufficien t representation (MSR) MSR-guided synthesis

Quality filtering Mix with real data Train new model Model feedback improves MSR 图6-12 MSR 引导的合成数据闭环 4) 数据墙的终极影响数据墙将迫使 LLM 领域发生三个根本转变： •从更多数据到更好数据：数据工程的重要性将超过数据获取 •从预训练到后训练的重心转移：当无法通过更多数据提升模型时，RL、蒸馏、推理增强成为提升能力的主要手段 •小模型的逆袭加速：当大模型无法通过更多数据拉开差距时，专注于效率和数据质量的小模型可能更具竞争力数据墙不是终点，而是 LLM 从量变到质变的转折点。

6.4 高级预训练目标

自 GPT 系列将因果语言建模确立为行业基准以来，下一词预测一直是 LLM 预训练的事实标准。然而，其短视性、缺乏规划能力、信号稀疏性等固有局限日益凸显，催生了多词元预测、填空训练、下一隐式词元预测等替代或补充目标。

6.4.1 预训练目标类型

预训练目标的演进预训练目标（Pretraining Objective）定义了模型在自监督学习阶段的优化方向。自 GPT 系列将因果语言建模（Causal Language Modeling, CLM）确立为行业基准以来，传统的下一词预测（Next-Token Prediction, NTP）一直是 LLM 预训练的事实标准。然而，随着模型能力边界的拓展，NTP 的固有局限，包括短视性（Myopia）、缺乏规划能力、对多步推理训练的不足，日益凸显。针对这些局限，研究者发展出多词元预测（MTP）、下一隐式词元预测（NITP）、填空训练（FIM）等替代或补充目标，并在此基础上提出了统一神经缩放定律（Unified Neural Scaling Laws）。
下一词预测的数学原理给定上下文序列 x = (x , x , … , x )，NTP 目标最小化下一个真实词元的负对数似然： <t

t−1 T LNTP = − ∑ log Pθ (xt ∣ x<t ) T t=1 等价于每个位置的 softmax 交叉熵： (t) exp(h⊤ t ext ) LNTP = − log ∑Vv=1 exp(h⊤ t ev ) 其中 h ∈ R 为隐藏表示，e 为词元嵌入。 t d v 无需标注数据，所有文本自然提供监督信号。语言本身的序列性使得每个词元都是其前缀的天然标签，这一自监督形式的简洁性使 LLM 的规模化训练成为可能。 NTP 的根本局限体现在以下方面： •训练-推理不匹配（Exposure Bias）：训练时使用 Teacher Forcing（真实上下文），推理时模型依赖自己的生成。 Bengio et al.（2015）将此称为“曝光偏差”，即模型从未在训练中见过自己的错误累积效应，预测错误沿序列级联放大 •缺乏长远规划：NTP 仅鼓励下一步正确，不鼓励生成能在多步后导向正确结果的中间词元。在数学推理中，关键中间步骤的优化可能得不到充分梯度信号 •信号稀疏性（Credit Assignment Problem）：需要多步推理验证正确性的任务中，最后一步的正确性难以通过局部梯度有效反向传播到关键中间步骤 •信息效率低下：每个词元仅提供 log V 比特的监督信号，大量训练计算浪费在高不确定性的简单词元上（如功能词、标点符号） NTP 对 h 的梯度为： t ∂L(t) NTP = Pθ (⋅ ∣ x<t ) − 1xt ∂ht 当模型自信时（P (x ) → 1），梯度趋近于零。这种自适应步长是交叉熵的内在属性，但意味着简单词元几乎不贡献梯度信号。 t 从互信息最大化角度看，NTP 等价于最大化 h 与 x 之间的互信息下界。然而，互信息是点对点的，它不捕捉 h 是否编码了对未来多步有用的信息。这是 NTP 短视性的信息论根源。 t t t 3) 多词元预测多词元预测（MTP）由 Meta（Gloeckle et al., 2024）和 DeepSeek-V3（2024）独立提出。MTP 的根本思想：让模型在每一步同时预测未来 K 个词元： T K ∑ ∑ λk log Pθ (xt+k ∣ x≤t ) (k) LMTP = − T t=1 k=1 其中 P 是第 k 个独立预测头，λ 为权重。 (k) θ k 每个预测头不共享参数。DeepSeek-V3 使用轻量 Transformer 块将 h 转换为第 k 步预测表示： t (k) ht = MTP_Blockk (ht , Emb(xt+k−1 )) 因 h 仅编码截至 t 的信息，MTP 模块需额外接收 x 的嵌入作为“未来锚点”，这确保了预测头不会通过作弊（如偷看未来）获取信息，保持了因果性。 t t+k−1 MTP 的多维度优势体现在以下方面： •信息论视角：每位置监督信号密度提升至 K ⋅ log V 比特 2 •表征学习提升：为同时准确预测多个未来词元，模型被迫学习更高层次的抽象，其表征必须包含话语将如何发展的规划性信息 •推理加速：可用于投机解码，同一模型的多步预测生成候选序列，1.5-3 倍推理加速 •辅助预测头作为探针：不同步数的预测头揭示模型在不同时间尺度的预测信心，用于校准和不确定性估计 Meta 研究发现 MTP 收益随模型规模递减：小模型（< 1B）相对改善 8-12%，大模型（> 100B）2-3%。这与“大模型已从海量数据中习得隐式规划能力”假说一致。DeepSeek-V3 在 671B 参数规模上使用 K = 2 的 MTP，在代码生成和数学推理上增益最显著，这类任务对规划能力要求最高。 K = 2 时，MTP 模块增加的 FLOPs 约占模型总量的 5%。考虑到等效数据增益（约 1.4×），投入产出比约为 1:8，是 LLM 预训练中性价比最高的技术之一。 4) 填空训练 FIM 是代码生成模型的标配预训练目标。训练样本构造方式： Prefix⟨FIM_MID⟩Suffix⟨FIM_END⟩Middle 模型接收前后文后，自回归生成被挖去的中间部分。损失仅在填空部分计算： LFIM = − ∑ log Pθ (xt ∣ Prefix, Suffix, Middle<t ) ∣Middle∣ t∈Middle FIM 有三种生成式变体： •PSM（Prefix-Suffix-Middle）：先给前缀、再给后缀、最后填空，是标准方案 •SPM（Suffix-Prefix-Middle）：先给后缀、再给前缀、最后填空，在某些场景效果更好，因为后缀提供了更强的“反向约束” •随机跨度掩码（Random Span Masking）：掩码多个不连续片段，训练模型交替生成多数代码 LLM（CodeLlama、StarCoder、DeepSeek-Coder）采用 FIM + NTP 混合训练（50:50 至 70:30）。2025 年的关键发现：FIM 训练能显著提升反思能力（Reflection Ability），即生成中间内容时模型需意识到前后文要求，类似人类写作中的承上启下思维过程。 UL2（Tay et al., 2023）提出了“去噪目标混合器”（Mixture-of-Denoisers）框架，将多种预测目标统一为同一模型的训练任务，通过任务特定的去噪标记切换模式。UL2 验证了多目标预训练的可行性和互补性：不同的去噪目标培养了不同类型的语言能力。 5) 下一隐式词元预测下一隐式词元预测（Next Implicit Token Prediction, NITP）是 2026 年提出的激进方案，从根本上解决 NTP 短视性。核心思想：不在训练时指定下一词元显式标签，而是让模型在可学习隐式空间中预测“有用的下一步状态”。令 z = f (x ) 为上下文表示。先预测隐式状态： t enc θ ≤t z^t+1 = gθ (zt ) 再通过解码器映射到词元： Pθ (xt+1 ∣ x≤t ) = softmax(hθ (z^t+1 )) 隐式状态使用对比目标（Contrastive Objective）学习： exp(z^⊤t+1 zt+1 /τ ) LNITP = − log ∑t′ ∈batch exp(z^⊤t+1 zt′ /τ ) 其中 z 是通过动量编码器处理完整前缀 x 得到的“真实未来状态”。动量编码器参数 θ 通过 EMA 更新：θ ← m ⋅ ≤t+1 ′ ′ θ + (1 − m) ⋅ θ，典型 m = 0.999。 t+1 ′ NTP 要求精确预测下一个词元（严格的离散监督），NITP 仅要求预测状态与真实未来状态的语义对齐（松弛的连续监督）。这使 NITP 能够容忍语义等价但不完全匹配的预测，缓解了 NTP 的过于精确问题。实验发现： •GSM8K、MATH 准确率提升 8-12%（比同等 NTP） •隐式空间自然形成“概念轨迹”，不同概念沿可预测方向演化 •需动量编码器，训练计算增加约 15% •在创意写作等需要多样性的任务上，NITP 的生成多样性优于 NTP（Self-BLEU 降低约 10%） 6) 前缀语言建模前缀语言建模（Prefix LM）是 NTP 和双向建模的折中。给定前缀 x （双向注意力）和待生成后缀（因果注意力），模 prefix 型用双向编码处理前缀、用自回归解码生成后缀。T5（Raffel et al., 2020）和 GLM（Du et al., 2022）使用此目标。 Prefix LM 的优势是兼顾了对固定上下文的理解（双向注意力）和对生成部分的因果约束，适用于需要输入条件控制的场景（如翻译、摘要）。但其需要特殊的注意力掩码设计而非统一的因果掩码，增加了工程复杂度。 7) 预训练目标对学习动力的影响不同预训练目标不仅影响最终性能，还影响训练过程中的学习阶段（Learning Phases）： •NTP 的学习阶段：初期快速掌握高频模式（功能词、常见搭配），中期建立语法和事实知识，后期缓慢提升推理和长程依赖。各阶段之间存在明显的“阶段过渡”（Phase Transition），表现为验证损失的阶梯式下降 •MTP 加速了中后期学习：多步预测迫使模型更早开始学习规划性表征，缩短了从语法学习到推理学习的过渡时间 •FIM 促进双向感知：模型在训练早期就能建立前后向依赖关系，与单向 NTP 的训练轨迹明显不同，FIM 模型的注意力分布更均衡，对后缀信息的利用更充分 Saunshi et al.（2023）的理论分析表明，NTP 训练中 h 的时序互信息 I(h ; x ) 随训练步数单调增长，但 k 越大增长越慢，模型需要更多训练才能习得长程预测能力。MTP 通过直接监督加速了 I(h ; x ) 对所有 k ≤ K 的增长。 t t t+k t

6.4.2 比较与展望

t+k

训练目标的数学比较各预训练目标在监督粒度、上下文利用与规划能力培养等维度上存在系统差异，如表6-11 所示：目标函数监督粒度上下文利用规划能力培养计算开销适用场景 NTP 词元级单向（左→右）弱 1× 通用语言建模 MTP (K = 2) 多词元级单向中等 1.05× 通用 + 推理增强 MTP (K = 4) 多词元级单向中强 1.1× 推理密集型目标函数监督粒度上下文利用规划能力培养计算开销适用场景 NITP 语义级单向强 1.15× 推理密集型任务 FIM 词元级双向弱 + 反思 1× 代码生成、文档修复 Prefix LM 词元级混合（前缀双向）弱 1× 条件生成任务 UL2 多粒度混合中等 1× 通用 + 多任务表6-11 预训练目标函数对比第 t 个位置的梯度同时受 K 个未来词元驱动： ∂L(t) ∂h(k) K = ∑ λk (Pθ (⋅ ∣ x≤t ) − 1xt+k )

MTP (k) t ∂ht ∂ht k=1 多步梯度信号共享前向路径但携带不同监督信息，比 NTP 单一梯度更能引导稳健中间表征学习。 2) 预训练目标的未来方向预训练目标的演进有几个值得关注的方向： •生成-验证联合目标：训练模型同时生成候选和验证正确性，使模型学会自我评估这一推理的“元技能” •多尺度预测：不同预测头负责不同抽象层次（下一词元、段落主题、答案正确性），形成分层监督金字塔 •选择性掩码：根据样本信息密度自适应选择预测目标，避免一刀切的 NTP •中间状态监督（Process Reward）：在推理链中间步骤施加额外监督，增强长序列的信用分配 •目标与架构的联合搜索：不是先选架构再配目标，而是将目标和架构作为联合搜索空间，某些架构天然适合 MTP（如更大深度的模型），某些适合 NITP（如 SSM 混合架构）预训练目标的设计与模型架构之间存在深刻的相互作用。架构创新（注意力压缩、MoE）优化了给定目标的计算效率，预训练目标创新回答了一个更根本的问题：给定的计算预算应当用来学习什么样的预测任务？“架构 × 目标”的联合设计是 LLM 规模化最具潜力的方向。 3) 预训练目标选择的方法当训练预算的瓶颈在于数据量（而非计算量）时，MTP 的数据增效最为显著。具体而言： •高质量数据有限（如领域特定数据 < 5T 词元）→ MTP K = 4 可将数据效率提升约 60% •数据充裕但计算预算有限 → MTP K = 2，获得免费的推理加速（通过投机解码） •数据充裕且计算充裕 → MTP 边际收益递减，不如将计算用于增加模型规模 FIM 适用于代码生成（必需）、文档修复/补全（强烈推荐）、通用对话模型中的反思能力培养（可选）。FIM 的关键设计决策是填充率（mask rate），15-25% 是常见范围，过高会损害因果建模能力，过低则双向训练效果不足。 NITP 适合任务核心挑战是多步规划而非知识记忆的场景。目前仍处于研究阶段（2026），生产部署还需解决动量编码器的推理开销和对比目标的 batch size 敏感性（大 batch 对对比学习至关重要，通常需要 4096+ 的 batch size）。 2025-2026 年的最佳实践不是选择单一目标，而是组合使用，典型方案为 70% NTP + 20% MTP + 10% FIM 的混合目标。各目标通过不同的损失权重和训练阶段调度（curriculum）协调：训练早期侧重 NTP（建立基础语言能力），中后期引入 MTP 和 FIM（增强规划和双向感知）。

6.5 缩放法则与规模决策

缩放定律（Scaling Laws）回答了“模型质量如何随参数、数据与计算量增长”这一工程问题，是决定训练预算分配的第一性工具。从 Kaplan（2020）到 Chinchilla（2022）再到统一缩放定律（2026），缩放理论从简单的幂律拟合演化为涵盖训练、推理、测试时计算的多维框架。Chinchilla 确立了“参数与数据等比增长”的最优配比，2026 年的统一缩放定律则进一步纳入了测试时计算维度。

6.5.1 经典缩放定律

Kaplan 缩放定律 Kaplan 等人（Kaplan et al., 2020）于《Scaling Laws for Neural Language Models》中首次以系统实验建立了大语言模型的缩放关系，其核心发现可概括为三条定律： •定律一（参数量与损失）：当训练数据充足（D ≫ N ）时，损失与参数量满足 L(N ) = ( ) ，其中 α ≈ 0.076 Nc αN N •定律二（数据量与损失）：当模型足够大（N ≫ D）时，损失与数据量满足 L(D) = ( ) ，其中 α ≈ 0.095 N Dc αD D D •定律三（联合缩放）：当二者同时受限时，用统一形式 L(N , D) = [( ) + ] Nc αN /αD N Dc D αD 损失在双对数坐标下随各维度近似线性下降，意味着扩展带来的收益逐级递减，且存在不可逾越的不可约误差 ε。Kaplan 的一个关键推论是模型参数比数据更重要：在算力最优配置下，参数与数据的最优缩放比约为 N ∝ C 、D ∝ C ，即 0.73 0.27 算力增长应优先投向模型规模而非数据量，等价于“适度过训练”更划算。这一结论直接推动了 GPT-3（175B 参数， 300B tokens 训练）等“大模型、少数据”路线的流行，Kaplan 的核心推论如图6-13 所示。 Kaplan (2020) Findings Parameters N ▲▲ Loss decreases rapidly Strategy: Prioritize scaling model Data D ▲ Loss decreases slowly 图6-13 Kaplan 定律的模型优先推论
Chinchilla 修正 Hoffmann 等人（DeepMind, 2022）在 Chinchilla 论文中对 Kaplan 的结论提出了重要修正。Kaplan 的分析存在两处统计偏差：其一是固定学习率调度，在分析数据缩放时使用固定的学习率，导致“大模型、少数据”的配置表现虚高；其二是早期停止（Early Stopping），拟合过程未训练至收敛，放大了小数据配置的劣势。在“训练至收敛、不留余量”的设定下，最优参数 N 与最优数据量 D 应等速增长。 Chinchilla 在固定算力预算 C 下，通过同时调整 N 和 D 来最小化损失： min L(N , D) s.t. C ≈ 6N D

N ,D 其中算力 C 以 FLOPs 计量，因子 6 来自 Transformer 前向与反向传播的 FLOPs 近似。损失函数的参数化形式为： A B L(N , D) = E + α + β N D 其中 E = 1.69 为不可约损失（irreducible loss），A = 406.4，B = 410.7，α = 0.34，β = 0.28。在固定算力 C 下，最优参数量和最优数据量为： Nopt (C) ∝ C α/(α+β) ≈ C 0.55 , Dopt (C) ∝ C β/(α+β) ≈ C 0.45 这意味着模型参数与训练数据应按近似 1:1 的比例同步增长，与 Kaplan 的“重模型轻数据”结论形成鲜明对比。等价地，计算最优要求参数量与训练 token 数保持固定比例，即 D ≈ 20N ：对于算力预算 C = 6 × 10 FLOPs，Chinchilla 23 最优配置约为 70B 参数与 1.4T tokens，这也是 Chinchilla 模型（70B 参数，1.4T tokens 训练）的命名由来。据此训练出的 70B Chinchilla 以约 1/6 的计算量追平了此前过训练严重的 280B Gopher。这一比例成为其后主流预训练（如 Llama 系列）的基准参考，前沿团队在此之上按推理成本与数据质量上下浮动。核心实验手段是等计算曲线（isoFLOPs）：固定总计算量，扫描不同的 N /D 组合训练一批模型，找到损失最低的点，再对不同计算量重复扫描，连接这些最优点即得最优前沿。Chinchilla 同时用三种独立方法（缩小模型拟合、扩大模型校验、全预算拟合）交叉验证，得到一致的比例结论。由此还定义了“过训练”与“欠训练”的判别：训练 token 数远低于 20N 的模型为欠训练，增大数据量即可无成本地获得收益；远高于此则为过训练，应优先扩大参数。 3) 推理感知缩放 Chinchilla 最优配比只把训练当作唯一的成本项。实际部署的模型在其生命周期内还须支付每 token 的推理成本，模型越大，服务单个 token 的显存与计算开销越高。考虑总持有成本 TCO = C + C ，对于一个总服务 R 个请求的模 train inference 型： TCO(N , D) = 6N D + k ⋅ N ⋅ R 其中 k 为每个参数每次推理的 FLOPs 成本常数。在给定训练算力预算下，上式对 N 和 D 的优化会偏向于更小的模型与更多的数据，即 D/N 比率高于 Chinchilla 最优。这一思路被称为推理感知缩放（Inference-aware Scaling）或服务最优缩放，以相近质量换取更低的推理延迟与吞吐成本。Llama 等团队对 8B 级模型使用远超 Chinchilla 比例的 token 数，正是出于“同等质量下服务更便宜”的考量。主流模型的“过度训练”程度如表6-12 所示：模型参数（非嵌入）训练Tokens Token:Param 比 Chinchilla 最优比 “过度”倍数 Chinchilla 70B 1.4T 20:1 20:1 1× Llama 3 405B 405B 15T 37:1 20:1 1.85× DeepSeek-V3 37B(激活) 14.8T 400:1* 20:1 20× Qwen 2.5 72B 72B 18T 250:1 20:1 12.5× *注：DeepSeek-V3 使用 MoE 架构，以激活参数计，数据/参数比极高。表6-12 主流模型过度训练的程度对比如表6-12 所示，2024–2025 年的主流模型几乎无一例外地选择了“过度训练”路线。这一趋势反映出，在推理成本主导总成本的商业现实中，用一个训练更充分的中等模型服务，优于用一个训练不足的大模型。到了 2026 年，模型选型演化为一个多变量联合优化：训练预算决定 N 与 D，服务预算与预期上下文长度决定推理侧的并发与延迟，而推理模型的思考 token（Thinking Tokens）将推理成本放大数倍。是否把预算花在更大的预训练模型上，还是留给测试时的搜索，取决于部署场景的负载结构，不再存在单一的最优答案。一个直觉化的理解是：纯 Chinchilla 最优回答“给定 C 美元的训练电费，模型该多大”，推理感知缩放则回答“给定模型生命周期内总计 C + train 美元的预算，模型该多大、该训练多少数据”。实践中，这一决策被固化为成本模型（Cost Model），以目标质量、 Cserve 预期日活、平均上下文与输出长度、硬件租金为输入，输出使得单位回答成本最低的 N 与 D。上下文越长，KV 缓存与 prefill 成本越高，最优参数反而越小，这正是长上下文与缩放定律的交汇点。

6.5.2 统一缩放定律与测试时计算

统一神经缩放定律 DeepMind 在 2026 年提出的统一缩放定律（Unified Neural Scaling Laws）将上述分散的发现整合为一个统一的数学框架： A B C L(N , D, T ) = E + α + β + γ

N D T 其中新增的 T 为测试时计算（Test-time Compute），即模型在推理阶段进行额外计算（如多步推理、搜索、验证）的算力预算。该框架的关键推论如下： •训练与推理可替代：减少 A/N （训练更小的模型）可通过增加 C/T （更多测试时计算）来补偿，二者存在确定的替 α γ 代弹性 σ = γ/α •预算分配优化：在固定总预算（训练 C + 推理 C ）下，最优分配比满足 C /C = ⋅ train infer train infer α Tγ •测试时计算的缩放行为：对于推理密集型任务（数学证明、复杂代码生成），γ 显著大于 0（估计在 0.1–0.3 之间），更 γ Nα 多测试时计算持续带来性能增益；对于知识回忆型任务，γ → 0，测试时计算几乎无益统一缩放定律的三维关系如图6-14 所示。 Unified Scaling Laws (2026) Parameters N Data size D Test-time Computation T Irreducible loss E α=0.34 β=0.28 γ=0.1-0.3 Loss L Optimization Budget allocation decision 图6-14 统一缩放定律的三维框架 2) 推理缩放定律在统一框架中，测试时计算的缩放行为（Test-Time Compute Scaling）是一个快速发展的子领域，测试时计算主要有三种形式： •并行采样（Best-of-N）：生成 N 个候选答案，用验证器/投票选出最佳。性能增益约为 ∝ log N ，边际递减较快 •序列推理（Chain-of-Thought）：生成更长的推理链。性能增益约为 ∝ log T ，但回报持续更久 •树搜索（Tree Search）：构建推理树并搜索最优路径（如 o1 和 DeepSeek-R1 使用的方法）。增益近似 ∝ T SMaL 发现（Small Models are Large, 2026）进一步强化了推理缩放的经济学意义：当赋予充分的测试时计算预算后， 2B 参数的小模型可以在数学推理任务上超越 70B 参数模型的一次性生成。其核心发现可以总结为： SmallModel(N = 2B, T = 104 tokens) ≈ LargeModel(N = 70B, T = 102 tokens) 这意味着在推理密集型任务上，10 的 token 推理预算约等效于 35× 的参数量提升。

6.5.3 缩放定律的实践

2026 现状与四维权衡 2026 年，训练计算扩展仍在继续，前沿模型已普遍进入万亿参数级 MoE 规模。两个结构性变化值得注意。其一，数据成为主要约束：网页级文本资源近乎耗尽，边际数据越来越依赖合成生成、强化学习与蒸馏闭环；其二，架构效率创新改变了同一 FLOP 预算能买到的能力，DeepSeek-V4 以混合注意力与原生长上下文将单 token 推理 FLOPs 降至 V3.2 的约 27%，说明“规模-效率”曲线不再是固定不变的。 Pre-training Scaling (2020-2022) Serving-aware Training Test-time Compute (2024-2026) Kaplan 2020: power laws Fixed inference budget o1 and R1 reasoners Chinchilla 2022: D approx Smaller N, more tokens Reasoning effort dial 20N Compute-optimal N and D Inference-optimal point Second scaling axis

Model quality 图6-15 缩放法则与测试时计算双轴体系如图6-15 所示，原始的“参数/数据/计算”三元权衡已经演化为包含推理预算的四维问题：团队先在训练预算下选定 N 与 D，再根据服务与思考预算决定 effort 档位和模型大小。前线的选择具有路径依赖性，是扩展预训练规模还是增加测试时搜索，取决于预期的服务负载与成本结构。缩放定律由此从一个固定公式变成了一个随部署条件变化的最优化问题。 2) 实践指导将缩放定律从学术研究转化为工程决策，需要额外考虑以下实践因素： •数据质量乘数：所有缩放定律均假设数据为独立同分布样本。当数据质量变化时，有效数据量 D = q ⋅ D。FineWeb- eff Edu 的质量乘数估计约为 q ≈ 2，即 1 个经教育性过滤的 token 等效于约 2 个原始网络 token。 •MoE 的计量口径：缩放定律中的 N 应以激活参数（而非总参数）计。以激活参数计，DeepSeek-V3 的 Token:Param 比约为 400:1，以总参数计则接近 Chinchilla 最优点，这强调了对不同架构必须使用一致的计量口径。 •损失与下游能力的错位：预训练损失 L 的下降并不总是与下游任务能力线性相关。在某些能力（如数学推理）上，损失的小幅改进可能导致下游能力的阶跃式提升，这种“涌现”行为使得纯损失导向的缩放决策存在盲区。 •数据可得性假设：缩放定律暗含“任意规模的数据都可用”的假设。在现实中，高质量自然文本总量有限（估计在 10T–100T tokens 量级），2025–2026 年的训练数据规模已逼近这一上限。后续缩放将越来越依赖合成数据和多模态数据，其缩放行为可能与纯文本数据存在显著差异。 3) 交叉验证与争议缩放定律虽然影响深远，但围绕其精确形式和适用范围仍存在若干争议： •幂律函数形式：部分研究（Alabdulmohsin et al., 2022; Sorscher et al., 2022）指出，当数据经过充分精选（如教育性过滤、去重、领域重加权）后，数据与损失的关系从幂律向指数式收敛转变：L(D) ≈ L + c ⋅ e 。指数衰减意味 ∞ −γD 着精选数据在“有效信息”维度上的边际递减远慢于未过滤数据。如果这一观察在更大规模上成立，它暗示过滤后的 100B tokens 可能等效于未过滤的 1T tokens，远超过线性推论。 •模型规模的定义口径：缩放定律的拟合对“参数量”的定义高度敏感。Kaplan 使用非嵌入参数（排除 token embedding 和输出投影），Chinchilla 使用总参数。对于小型模型（< 1B），嵌入参数占比可达 20–40%，这一口径差异会导致缩放指数估计的系统性偏差。为消除歧义，最新研究（如 Besiroglu et al., 2024）建议同时报告两种定义下的缩放指数，并使用“缩放主体”（scaling entity）的概念，即实际参与损失函数优化的参数子集。 •涌现能力的脆弱性：Wei et al.（2022）描述的“涌现能力”，即模型在某规模下突然掌握新能力，是否真实存在，还是度量标准的平滑性伪影？Schaeffer et al.（2023）认为，如果使用连续的度量（如 token-level log-likelihood）而非不连续的度量（如 exact-match accuracy），能力的增长实际上是平滑的幂律，不存在“阶跃”。这一争议直接影响如何规划模型规模：如果能力确实是平滑增长的，那么可以通过在小模型上的外推来预测大模型的能力；如果存在涌现，小模型上的预测将系统性低估大模型的能力。 4) 多模态缩放定律前述缩放定律主要针对纯文本 LLM。在 2024–2026 年间，多模态模型的缩放研究开始形成体系。多模态模型的损失可以分解为语言分量和视觉分量的和： Lmultimodal = Ltext + λLvision 其中 λ 控制视觉损失的相对权重。研究发现，视觉编码器的缩放指数 α 显著小于语言模型的缩放指数 α ，即视觉 vision text 能力的缩放效率低于语言能力。这解释了为什么视觉语言模型（VLM）的能力提升更多依赖架构创新（如更好的 Vision Encoder），而非简单的参数堆叠。 Sora 等技术报告初步揭示了视频生成模型的缩放行为。与语言模型不同的是，视频生成中的数据量需要同时考虑空间分辨率和时间帧数两个维度，缩放定律的维度扩展为： A Bs Bt L(N , Ds , Dt ) = E + + βs + βt Nα Ds Dt 初步数据表明，时间维度的缩放指数 β 大于空间维度的 β ，即增加帧数比增加分辨率带来更快的质量提升。 t s 5) 反向引导缩放定律不仅定义了做大的规则，也能推导做小的极限，即在给定能力要求下，模型可以缩小到什么程度。这一方向对于端侧部署（on-device LLM）具有关键意义，三个缩小方向的缩放行为如下： •知识蒸馏的缩放：当使用大模型的输出作为训练信号时，小模型的收敛服从修正后的缩放定律 L (N , D ) = student 。由于 L < L （教师的损失低于自然数据的不可约损失），学生模型可以在较小规模下达到比 s s L teacher+ + As α Ns s Bs teacher ∞ 同样规模从头训练的模型更低的损失。这为 1B–3B 参数级别的能力密集型小模型提供了理论依据。 Dsβs •量化缩放定律：模型量化（Quantization）后的能力损失与量化位数 b 的关系也近似幂律 ΔL(b) ≈ c ⋅ b ，其中 γ ≈ −γ 1.5–2.5。4-bit 量化的损失增量（约 0.01–0.05 ppl）通常可接受；低于 3-bit 时损失急剧上升，幂律近似可能失效。 •稀疏模型的缩放：MoE 等稀疏激活模型的能力缩放，以激活参数而非总参数计时，与密集模型的缩放指数几乎一致。以总参数计时，MoE 的缩放效率更高，因为用总参数分母算出的 α 似乎大于 α 。这解释了对 MoE 架构的持续投 MoE dense 入。各缩放定律变体的关键参量与适用范围汇总如表6-13 所示：缩放定律变体关键参量核心发现应用场景 Kaplan (2020) N (非嵌入) α < α ，重模型 N D 早期 GPT 系列 Chinchilla (2022) N (总参), D α ≈ β ，数据=模型 PaLM, LLaMA Overtraining (2023–25) N , D 在 C 约束外 D/N 超 Chinchilla 2–20× Llama 3, DeepSeek Unified (2026) N , D, T 训练推理算力可替代测试时计算 Multimodal N , Ds , Dt 时间比空间缩放快 Sora, Gemini Distillation Scaling Ns , Ds , Lteacher 教师损失 < 不可约损失端侧小模型 Quantization Scaling b 4-bit 为合理边界推理部署表6-13 缩放定律变体总览

6.6 中段训练

大型语言模型的训练通常被划分为两个阶段：预训练（Pre-training）学习通用语言知识，后训练（Post-training）完成指令对齐和偏好优化。2025–2026 年的研究揭示，在这两个阶段之间存在一个被长期忽视的关键过渡地带：中段训练（Mid-training）。本节介绍 MIRA（Mid-training Rubric Anchoring）框架，阐述如何用评分准则（Rubric）指导中段数据选择，在有限数据增量下最大化模型能力提升。

6.6.1 中段训练的定义与必要性

中段训练指在预训练完成后、标准的 SFT/RLHF 后训练之前，用精选的数据对模型进行的持续训练（Continued Training）。与预训练和后训练的主要区别如表6-14 所示：维度预训练中段训练后训练数据规模 TB–PB 级 GB–TB 级 MB–GB 级数据特点广泛、未标注、含噪声精选、领域聚焦、有质量标签指令格式、偏好标注训练目标下一 token 预测下一 token 预测 + 能力定向 SFT / RLHF / DPO 学习率标准余弦衰减较低、精细控制较低、适配任务知识来源互联网全量定向补充人类/模型反馈表6-14 训练三阶段的对比中段训练的必要性源于一个经验事实：预训练模型的通用知识和特定能力之间存在落差，模型可能知晓大量事实，但在需要这些事实的推理任务上表现不佳。用高质量的领域聚焦数据对模型进行定向的持续训练，可以唤醒模型在预训练中已编码但欠激活的能力。

6.6.2 MIRA 框架的核心思想

MIRA（Mid-training Rubric Anchoring）由 2026 年的研究提出，其核心创新在于：用可解释的评分准则（Rubric）替代简单的困惑度或分类器来选择中段数据。传统的中段数据选择方法存在两个主要缺陷： •困惑度陷阱：低困惑度的数据未必带来能力提升，教科书对模型来说太简单，训练信号微弱 •分布盲目性：基于领域的采样选择无法区分同一领域内的不同难度和不同质量的数据 MIRA 的核心工作流如图6-16 所示： Pre-Training model Data Pool Rubric Scoring Engine Multi-dimensional score p er sample Rubric anchor selection Feedback update Mid-continuous training Benchmark evaluation 图6-16 MIRA 框架的核心工作流如图6-16 所示，MIRA 的关键创新在于 Rubric 评分引擎与反馈闭环，其核心流程围绕三个关键步骤展开。

Rubric 的定义与结构化 Rubric 是一组多维度、可量化的评分准则，用于评估每份候选训练数据对目标能力的贡献潜力。一个典型的 Rubric 包含以下维度，如表6-15 所示： Rubric 维度评分标准值域难度等级当前模型在该文档上的困惑度；PPL 在 10–50 区间为“有效学习区” 1–10 知识新颖性文档包含的信息未被当前模型充分掌握的程度 1–10 格式丰富性推理链长度、结构化程度、多步依赖数量 1–10 领域相关性与目标能力（如数学、代码）的相关程度 1–10 事实准确性经验证模型或知识图谱交叉校验的事实正确率 1–10 表6-15 Rubric 评分维度
基于 Rubric 的数据锚定对候选数据池中的每份文档，由 Rubric 引擎输出一个多维评分向量 s = (s , s , … , s )。数据选择策略根据目标能力进行 1 2 5 加权聚合： Score(d) = ∑ wi ⋅ si (d) i=1

其中权重 w 根据目标能力的特性设定。例如： i •以提高数学推理为目标：w = 0.35, w difficulty = 0.30, w = 0.20, w relevance = 0.10, w = 0.05 format novelty accuracy •以提高代码生成为目标：w = 0.35, w = 0.25, w = 0.20, w = 0.15, w relevance format = 0.05 difficulty accuracy novelty 按评分排序后选取 top-K 的文档组成中段训练集。 3) 源感知的数据选择 MIRA 的另一关键特性是源感知（Source-aware）选择，同一份内容在不同数据源（如 ArXiv 论文 vs 技术博客的转载）中可能扮演不同的训练角色： •权威源（如教科书、官方文档）：优先选择，作为“知识锚点” •衍生源（如博客、讨论帖）：仅在权威源不足时补充，用作“应用场景丰富化” •低质源（如自动生成、机器翻译）：排除，除非其 Rubric 总分极高（罕见）这一源感知策略避免了传统基于困惑度选择可能引入的“伪优质”数据，那些困惑度低仅因为它们是原始权威内容的简单改写。

6.6.3 MIRA 与现有训练范式的对比

MIRA 与几种相关但不同的训练策略之间的区别需要明确： •与标准持续训练对比（Standard Continued Training）：标准持续训练简单地在目标领域数据上继续下一 token 预测，不区分数据内部的难度和质量差异。MIRA 通过 Rubric 实现了数据质量的分层和梯度利用，让模型先学刚好在难度区间的数据，而非全量数据中良莠混杂。 •与课程学习对比（Curriculum Learning）：课程学习按难度递增的顺序安排数据，但难度通常仅以样本级困惑度度量。 MIRA 的 Rubric 包含多维评分（难度、新颖性、格式、准确性），对适合学习的数据有更全面的定义。此外，MIRA 的锚定策略是一步到位的全局选择，而非课程学习的序列化排布，计算效率更高。 •与 DoReMi 对比：DoReMi 优化的是不同领域之间的权重分配，MIRA 优化的是同一领域内不同文档的选择。二者可以叠加：先由 DoReMi 确定领域权重，再由 MIRA 在每个领域内按 Rubric 精选文档。各方法的差异汇总如表6-16 所示：方法优化粒度评分维度是否需要代理模型标准持续训练无选择（全量）无否课程学习时序排列单一（困惑度）否方法优化粒度评分维度是否需要代理模型 DoReMi 领域间权重隐含（通过代理模型 loss）是（小代理模型） MIRA 文档级选择多维 Rubric 可选（用于准确性评分）表6-16 中段数据选择方法的对比

6.6.4 MIRA 的实验证据与消融

MIRA 原始论文在多个能力维度上进行了系统消融实验。以下整理关键发现（以 7B 参数基座模型在标准 benchmark 上的表现为基准）。

核心实验结果配置 MMLU GSM8K HumanEval MATH 预训练基线（无中段训练） 62.3 48.7 35.2 18.1

标准持续训练（同量数据） 63.1 52.4 38.6 22.3
MIRA 中段训练 65.8 58.9 43.7 28.5
MIRA + 源感知选择 67.2 61.3 46.1 31.8 表6-17 MIRA 核心实验结果从表6-17 可见： •标准持续训练在大多数任务上有 1–4 点的提升，但幅度有限，全量使用领域数据的效率较低 •MIRA 在同等数据量下，在所有 benchmark 上均显著优于标准持续训练，尤其在 MATH（+6.2 点）和 GSM8K（+6.5 点）上增益最大，证明 Rubric 锚定的选择对推理型任务有效 •引入源感知选择后，在所有 benchmark 上又有 1–3 点的额外提升

Rubric 维度的消融论文通过逐一移除 Rubric 维度来测量各维度的贡献，结果如表6-18 所示：移除维度 MMLU 下降 GSM8K 下降说明移除难度 -0.3 -3.8 难度对推理任务至关重要移除知识新颖性 -1.2 -1.0 新颖性对知识密集型任务更重要移除格式丰富性 -0.5 -1.8 推理链格式影响推理能力移除领域相关性 -1.5 -0.2 领域相关对 MMLU（多领域）重要移除事实准确性 -0.8 -0.4 准确性在各任务上均有一定贡献表6-18 Rubric 维度的消融分析

6.6.5 MIRA 的扩展讨论

中段训练的效果还受经济性、Rubric 构建方式与模型规模等多重因素影响，本节展开讨论。

中段训练的规模化经济 MIRA 的训练数据量 D 与性能增益 ΔPerf 之间呈现经典的幂律关系： mid β ΔPerf(Dmid ) ≈ a ⋅ Dmid 其中 β 的值依赖于 Rubric 的锚定质量。未锚定（随机选择）的 β ≈ 0.05，而 MIRA 锚定后的 β ≈ 0.08，同样的数据量下，锚定选择大约提升了 60% 的数据效率。获取 ΔPerf 的性能增益有两种策略：在中段加入 D 的精选数据，或在预训练阶段增大数据量 ΔD 。MIRA 论文的数据 mid pre 显示： ΔDpre ≈3∼5 ΔDmid 即 1 个单位的中段精选数据在能力提升上等效于 3–5 个单位的额外预训练数据。这一“数据乘数”效应是中段训练经济性的核心来源。基于上述分析，对于预算有限的团队，MIRA 框架建议如下数据分配：

预训练阶段：用 80–90% 的数据预算完成通用语言能力构建
中段训练阶段：用 10–20% 的数据预算，通过 Rubric 锚定进行能力定向提升
后训练阶段：用 < 1% 的数据预算完成指令对齐这一分配策略在实践中被证明是在给定数据总量下最大化下游能力的帕累托最优解。

Rubric 的自动构建在前述描述中，Rubric 被视为由领域专家手工设计。但在实践中，手工构建多维 Rubric 耗时且依赖专家经验。MIRA 论文同时提出了 Rubric 自动构建的方法：

选定目标 benchmark（如 MATH），收集该 benchmark 中的题目及其解法和评分细则
使用强 LLM（如 GPT-4）分析题目和标准答案，提取出影响解题能力的关键因素（如需要多步推理、涉及代数变换、需要几何直觉等）
对提取出的因素进行聚类和去重，形成初始 Rubric 维度
用小型分类器标注候选训练数据在各 Rubric 维度上的分数
通过小规模中段训练实验，验证各 Rubric 维度的预测效度，筛除低效维度 Rubric 中各维度的权重 w 可以通过以下方法自动确定： i •贝叶斯优化：在权重空间中进行贝叶斯搜索，以中段训练后的 benchmark 得分为目标函数 •梯度引导的权重学习：如果 Rubric 评分对权重可微，可以通过小规模代理模型（proxy model）上的训练梯度来估计各维度对最终性能的贡献 •维度的互信息排序：计算各 Rubric 维度得分与最终 benchmark 得分之间的互信息，按互信息大小分配权重自动构建的 Rubric 在多数情况下可以达到手工 Rubric 的 90–95% 效果，而构建时间从数周缩短至数小时。

不同模型规模上的表现 MIRA 的意义不仅在于提升小模型的性能，更在于它在大模型上的行为特性： •小模型（1B–7B）：MIRA 的效果最为显著。小模型的预训练欠充分，中段的精选数据可以补上预训练在特定领域的缺失。在 7B 模型上，100B tokens 的 MIRA 中段训练可以带来 5–8 个点的 benchmark 提升。 •中等模型（13B–70B）：MIRA 的效果递减但仍有意义。大模型预训练阶段的覆盖面更广，中段数据的边际信息量相对降低。在 70B 模型上，同样 100B tokens 的 MIRA 提升约为 1–3 个点。 •超大模型（100B+）：对于已经经过充分训练的千亿级以上模型，MIRA 的独立增量效果有限。此时 Rubric 锚定的价值更多体现在数据定向优化而非数据补充，即通过 MIRA 选择的少量数据可以在不引入太多算力开销的情况下对模型的特定薄弱项进行微调。各规模下的量化效果如表6-19 所示：基座模型规模 MIRA 数据量 MMLU 提升 GSM8K 提升效果评级 1B 50B tokens +4.5 +7.2 极显著 7B 100B tokens +3.5 +6.3 显著 13B 100B tokens +2.2 +4.1 中等 70B 100B tokens +0.8 +1.5 有限基座模型规模 MIRA 数据量 MMLU 提升 GSM8K 提升效果评级 405B 200B tokens +0.3 +0.6 边际表6-19 MIRA 在不同模型规模上的效果衰减
与测试时计算的协同测试时计算（如 Chain-of-Thought、Tree Search）是在推理阶段临场发挥的能力，而 MIRA 在中段训练阶段通过精选数据内化特定领域的知识和推理模式。二者互补，测试时计算需要模型具备基础的领域知识作为“搜索空间”，而 MIRA 恰好提供了这一基础。在数学推理任务上，“MIRA 中段训练 + 测试时计算”的组合超越了单独二者效果的简单加和，展现出协同增益： Gaincombined > GainMIRA + GainTTC 一种可能的解释是：MIRA 提升了模型生成的初始候选质量，使第一个 token 更可能落在正确路径附近，而测试时计算则在这个改善的起始点上进行更高效的搜索，两者相乘而非简单相加。这提示了一个更一般的范式：训练时的数据优化（MIRA）和推理时的计算优化（TTC）不应被视为独立的算力分配决策，它们之间存在交互效应，最优的算力分配应同时在两个阶段进行联合优化。
局限性尽管 MIRA 在多个实验设置中表现出色，仍有若干重要局限需要客观认识： •Rubric 的领域局限：一个为数学推理优化的 Rubric 对代码生成几乎没有指导力。这意味着 MIRA 需要为目标能力单独定制 Rubric，对于需要同时提升数十种能力的场景，维护数十套 Rubric 的管理成本不可忽视。 •数据稀缺的硬约束：MIRA 假设候选数据池中包含足够多的高 Rubric 评分文档。对于某些高价值的长尾领域（如罕见语言的教科书），即使 Rubric 评分引擎再精确，也可能无鱼可锚，数据稀缺是 MIRA 无法解决的硬约束。 •数据新鲜度递减：随着中段训练的推进，用同样的 Rubric 评分选择的数据新鲜度递减，第一批被选中的最佳数据提供了最强的训练信号，后续批次的信号强度逐渐衰减。这要求 Rubric 随着模型能力的提升进行动态调整，而动态 Rubric 的工程复杂度远高于静态 Rubric。 •规模迁移的不确定性：MIRA 在不同模型规模上的效果衰减（表6-19）暗示，在小模型上验证的 MIRA 配置无法直接迁移到大模型，这一规模敏感性增加了工业部署的不确定性。
未来方向展望 2026 年以后，中段训练可能沿着以下方向演进： •能力剖面驱动的自动诊断：在预训练完成后自动运行能力诊断（diagnostic）评测，生成模型的“能力剖面” （Capability Profile），标注出哪些能力已达标、哪些能力存在明显缺口。MIRA 的 Rubric 将根据能力剖面自动选择针对性的中段数据，实现精准补差。 •三阶段边界的模糊化：当前的三阶段划分（预训练 → 中段 → 后训练）仍是人为的工程简化。未来可能通过连续的学习率调度和动态数据混合，将三个阶段的边界模糊化，在预训练的后期就逐步引入中段风格的数据选择和 Rubric 指导，而非在预训练完全结束后才另起炉灶。 •多模态数据选择：将 MIRA 的 Rubric 思想扩展到多模态数据，例如为视觉语言模型的图表理解能力设计专门的 Rubric，在图像+文本的联合空间中进行数据选择。这一方向将数据工程从纯文本域扩展至多模态域。训练阶段从离散化到连续体的演进如图6-17 所示： Current Three Phases Future Continuum Pre-Training Pre-Training

Hard switch Gradual transition Mid-training Evolve Mid-training Hard switch Gradual transition Post-training Post-training 图6-17 训练阶段从离散化到连续体的演进 MIRA 框架虽然提出仅一年余，但其用可解释的准则指导数据选择的核心理念，已经深刻影响了大模型训练的数据工程实践。从某种程度上，MIRA 代表了一种更广泛的方法论转向：从让模型适应数据，到让数据服务于模型的特定能力目标。这一转向有望在数据日益昂贵的未来成为大模型训练的核心设计原则。

第 6 章 预训练与数据

第6章 预训练与数据