第 8 章 AI 算法Transformer大模型

第 8 章现代大模型架构

第8章现代大模型架构

8.1 从经典到现代

本章面向已掌握经典 Transformer 结构与原理的工程师，以「经典 vs 现代」的对比为主线，梳理 2017 年原始 Transformer 如何一步步演进到 2026 年的 DeepSeek-V4 与 Kimi K3 等现代大模型。本章不重复注意力与位置编码的基础推导，重点放在架构组件的换代逻辑、工程动因与设计权衡上，帮助读者理解「为什么变成今天这个样子」，以及未来新组件出现时如何定位。

8.1.1 范式迁移背景

2017 年提出的原始 Transformer 采用编码器-解码器（Encoder-Decoder）结构，以机器翻译为验证任务。编码器对源序列做双向建模，解码器以交叉注意力（Cross Attention）为桥梁，在每一步对编码器输出做条件生成。这一结构在随后两年内分化出两条支线：BERT 保留编码器并引入掩码语言模型，聚焦理解任务；GPT 保留解码器并转向自回归生成，聚焦生成任务。两条路线在 2019 年前后并行发展，T5 与 BART 则坚持编码器-解码器框架，在翻译与摘要任务上表现强势。彼时的主流判断是：理解任务适合编码器，生成任务适合解码器，两者难以统一。转折发生在 2020 年。GPT-3 以 1750 亿参数系统验证了纯解码器模型的上下文学习（In-Context Learning）能力：无需微调，仅靠提示（Prompt）即可执行翻译、问答、算术等大量任务。这一发现改变了规模化的方向——既然生成目标可以统一所有任务，又何必维护两套结构。2022 年 ChatGPT 在解码器之上叠加指令微调与基于人类反馈的强化学习（RLHF），进一步确立了生成式对话的模型形态，也把 decoder-only 推到产品前台。2023 年 LLaMA 系列开源并取得与闭源模型可比的性能，此后主流大语言模型几乎全部收敛到 decoder-only 架构。到 2026 年，DeepSeek-V4、Kimi K3、 Qwen、LLaMA 等前沿模型均为纯解码器结构，编码器-解码器退守翻译、语音、图文理解等少数需要显式对齐的任务。这一迁移并非技术偶然，而是任务形态、训练成本与推理工程三方面共同作用的结果。从统计上看，decoder-only 占用了绝大部分开源与闭源的训练算力，其生态优势（推理框架、开源权重、后训练管线）又反过来强化了它的统治地位。理解其中的因果链，是进入现代架构细节的前提。

8.1.2 decoder-only 的必然性

decoder-only 取代 encoder-decoder 的必然性体现在四个层面，每一层都对应一组明确的工程收益。

任务统一：绝大多数自然语言任务可以改写为「给定前缀、续写答案」的生成式问题。翻译、摘要、问答、代码生成与数学推理在 decoder-only 框架下共享同一目标函数、同一套训练管线与同一份推理代码。前缀位置天然具备双向编码能力：给定完整提示（Prompt）后，解码器对提示部分做双向可见的自注意力，理解型任务并不因单向因果约束而受损。统一任务形态还带来数据与工具链的复用，显著降低工程维护成本。相比之下，encoder-decoder 需要为每个任务设计不同的序列格式与交叉注意力行为，工程负担更高。
训练与推理一致：encoder-decoder 需要缓存编码器输出，并在解码器每一层注入交叉注意力子层，参数量与计算量都更大。decoder-only 移除交叉注意力子层，将全部计算集中于统一的因果自注意力，前向与反向的计算图更简洁，训练并行度与吞吐更高。对训练集群而言，减少一个子层意味着更小的显存占用与更优的算子融合空间，这些收益在大规模训练中被显著放大。GPT-3 与 Chinchilla 的规模化实验都表明，在相同算力预算下，decoder-only 能达到更低的训练损失。
推理成本：生成阶段 decoder-only 只维护单一流式的 KV 缓存，无需重复编码或跨模块数据搬运。相比之下， encoder-decoder 在每轮生成中都要访问编码器输出，长序列下内存与带宽开销成倍增长。结合缓存压缩技术， decoder-only 的缓存优势被进一步放大，这是百万 token 上下文得以工程化的基础。现代推理引擎围绕单一自回归流的缓存管理做优化，也从工程侧加固了这一架构选择。
对齐生态：指令微调、RLHF、偏好优化等后训练技术均以生成式对话为操作形态：奖励模型给完整回答打分，策略模型输出整段文本。decoder-only 的自回归输出与这类训练目标天然匹配，无需为对齐改造架构。后训练过程反过来推动了解码器架构的精简，例如统一输入输出格式与省略特殊结构。综合来看，decoder-only 的胜出不是某一项技术的压倒性优势，而是任务、训练、推理与对齐四个层面的合力。当生成成为模型的唯一输出形态时，架构中最简单的形态反而最经济。这一判断同样适用于未来：任何新架构若想取代 decoder-only，必须在四个层面同时提供不劣于它的收益。此外，decoder-only 的因果掩码让训练目标与「前缀续写」的推理形态严格一致，模型在预训练阶段就完成了对「任意前缀条件生成」的隐式泛化。反观 encoder-decoder，编码器与解码器的输入格式不同，预训练与下游任务的错位更多，需要额外的任务适配。这一「训练即推理」的契合，是 decoder-only 在工程上最难以被替代的性质。

8.1.3 经典与现代主线对比

组件经典 2017 现代 2026 归一化 LayerNorm Post-LN RMSNorm Pre-Norm 激活函数 ReLU / GELU SwiGLU / SiTU 注意力 MHA 多头注意力 GQA / MLA 前馈层稠密 FFN MoE 稀疏专家位置编码正弦编码 RoPE 注意力模式全量注意力稀疏与混合注意力残差连接标准残差 mHC / AttnRes 优化器 Adam AdamW / Muon KV 缓存全量 K/V 压缩缓存目标函数单 token 预测 MTP 多 token 预测表8-1 经典与现代组件对照如表8-1 所示，表中的每一项都对应一次具体的迭代：要么削减计算与内存，要么提升深层训练稳定性，要么改善长上下文效率。以归一化为例，从 LayerNorm 到 RMSNorm 是「减法」，省去均值归零的冗余计算；从 ReLU 到 SwiGLU 是「换元」，引入门控通路增强表达能力。类似地，注意力从 MHA 到 GQA/MLA 压缩缓存，前馈层从稠密到 MoE 解耦容量与算力，位置编码从正弦到 RoPE 获得相对位置建模与长度外推能力，残差连接从标准加法到 mHC/AttnRes 增强信息通路，优化器从 Adam 到 Muon 利用矩阵结构。这些单项改进单独看幅度有限，叠加起来却构成了量级差异：经典模型处理 512 token 上下文，现代模型处理 100 万 token；经典模型参数量千万级，现代模型达万亿级；经典模型的推理成本随序列二次增长，现代模型的增长被稀疏压缩拉回近线性。表中的「现代」配置并非某一款模型的专利，而是 2026 年前沿模型的共性基线。DeepSeek-V4 与 Kimi K3 在多数维度上一致，仅在注意力模式与连接机制上各具特色。理解表中每一项改动的机制细节与工程动因，是评估任何新架构创新的起点。

8.1.4 模型架构的演化分类

Transformer Vaswani 2017 Dense Architecture Mixture of Experts (MoE) Linear Attention State Space Model (SSM) GPT LLaMA Qwen Mixtral DeepSeek-V2/V3 Qwen 2.5-MoE Performer Lightning Attention Mamba Mamba-2 Gated DeltaNet GPT-1 -> GPT-4 LLaMA 1/2/3/4 Qwen 1/2/2.5 Mistral 2023 2024 2025 2020 MiniMax-01 2025 Gu & Dao 2023 Dao & Gu 2024 2026 图8-1 模型架构演化分类体系模型架构的演化分类体系如图8-1 所示。上述分类并非互斥——2025 年以来的前沿模型往往融合多类技术。例如， DeepSeek-V3 整合了 MLA（Multi-head Latent Attention，属于注意力压缩）、DeepSeekMoE（属于 MoE）和 Multi- Token Prediction（属于训练目标创新）三项核心技术。这一融合趋势也构成本章的组织逻辑。

8.1.5 架构创新的评估框架

评估一项架构创新（如新的注意力变体、新的归一化方案、新的 MoE 路由策略）的合理性，可依据以下多维框架： •性能增益 vs 实现复杂度：创新带来的困惑度与下游任务改善，须足以匹配其引入的工程复杂度。对需修改 CUDA kernel 的创新，需权衡数十人月的工程投入与几个百分点的性能提升； •训练-推理的对齐：创新在训练时展示的优势应在推理时仍然保持。某些线性注意力方案在训练时计算更快，但在推理时需重新物化注意力矩阵，抵消了训练收益； •可扩展性验证：在小规模（< 1B 参数）上的改进应在 100B+ 规模上仍然成立。许多「架构突破」在 small-scale 上展现显著改善，但在 large-scale 上表现平平； •与其他组件的兼容性：创新应与现有成熟技术（FlashAttention、GQA、SwiGLU、RoPE）兼容。MLA 与 RoPE 的冲突及解耦 RoPE 的解决方案，是此维度的典型案例； •硬件演进的方向：创新应面向未来硬件，包括更高计算强度、更大 HBM 带宽与更优的稀疏计算支持。

8.2 注意力参数共享

现代大模型的推理瓶颈已从计算转移到内存。自注意力每层为每个 token 缓存一组键值（KV），KV 缓存随序列长度线性增长，在百万 token 上下文中占据内存的主导地位。注意力参数共享通过压缩 K/V 投影的参数量与缓存量，成为长上下文时代的必修课。本节沿 MQA → GQA → MLA 的演进路径，说明参数共享如何一步步逼近缓存的压缩极限，并介绍 FlashAttention 的 IO 感知优化与相关工程实现。

8.2.1 KV 缓存的内存瓶颈

缓存规模与带宽压力 KV 缓存（KV Cache）的大小为 2 × L × H × d × S × B × b，其中 L 为层数，H 为头数，d 为头维度，S 为序列长度， B 为批量大小，b 为每元素字节数。以 32 层、32 头、head 维度 128 的模型在 BF16 下推理 100 万 token 为例，缓存约 h h 需 2 × 32 × 32 × 128 × 10 × 2 字节，即 512GB 量级，远超任何单卡显存。即便只容纳 1M token 的缓存，也要约 7 张 80GB H100，还不算权重本身。缓存规模随序列长度线性增长，生成阶段每个新 token 都要读取全部缓存参与注意力计算，因此缓存同时主导内存容量与访存带宽。序列长度达到百万级时，缓存读写时间超过矩阵计算时间，推理从计算密集型转变为访存密集型。长上下文请求的单价主要取决于缓存占用与带宽，而非单 token 的矩阵乘法。压缩每 token 的缓存字节数，是最直接的优化杠杆。缓存压缩有两条路径。其一是减少 KV 头数（MQA、GQA），让多头共享键值；其二是压缩 KV 的表示维度（MLA），把键值折叠进低维潜在空间。两条路径围绕同一目标，即以更少的字节承载等价的信息，不断下探缓存的体积，而理解它们的演进顺序，就理解了参数共享的设计空间。注意力机制的计算复杂度 O(n d) 是通往超长上下文的核心障碍，KV 缓存的内存开销则是推理部署的最大瓶颈，MQA、GQA、MLA 正是沿此主线的逐步压缩演化。
缓存压缩与推理系统的协同缓存压缩还需与分页式 KV 管理（Paged Attention）等推理优化配合。压缩缓存降低的是每 token 需要多少字节，分页管理解决的是这些字节如何在显存中高效分配，两者正交。vLLM 等推理框架以块为单位管理 KV 缓存，MLA 的潜在向量恰好可以作为块内固定的连续存储单元，进一步提升缓存复用率。

8.2.2 MHA 到 MLA 的渐进压缩

本节追踪注意力机制从多头注意力（MHA）到多查询注意力（MQA）、分组查询注意力（GQA）再到多头潜在注意力（MLA）的四步压缩演化。如表8-2 所示，四类机制的缓存规模与质量特性差异显著。机制 KV 头数相对缓存质量代表模型 MHA H 1 基准经典 Transformer MQA 1 1/H 略降早期效率模型 GQA g g/H 接近基准 LLaMA 3、Qwen MLA 潜在向量约 7% 持平基准 DeepSeek 全系表8-2 四类注意力机制对比四类机制沿「头多样性 vs 缓存内存」的光谱分布。MQA 与 GQA 通过减少 KV 头数压缩缓存，代价是键值多样性损失； MLA 通过低维潜在空间压缩缓存，在压缩比与质量保持上均占优。从 MQA 到 GQA 再到 MLA 的演进路径清晰展示了「如何在压缩缓存的同时保住表达力」：先砍头数，再分组，最后用潜在空间同时做到「压缩」与「恢复」。

标准多头注意力在推理阶段，每个新生成的词元需要与所有历史词元的键值对计算注意力分数。MHA 为每个头独立维护 K/V 投影，KV Cache 大小为 2 ⋅ L ⋅ h ⋅ d ⋅ t ⋅ bytes_per_elem，其中 t 为当前序列长度。对于 LLaMA-2 70B（L = 80, h = 64, d = 128）， FP16 下生成 4096 个词元时，KV Cache 约 10.7 GB。对于千亿参数模型，KV Cache 可能远超 GPU 显存。MHA 的核心矛 k k 盾由此显现：表达能力随头数增强，但 KV Cache 同步线性增长。MHA 的计算流程如图8-2 所示。 QProjection d -> h×d_k

h independent attention h Input X KProjection eads Concatenation h×d_k -> d Output projection n×d d -> h×d_k Each head computes soft d -> d max(QK^T/√d_k)V VProjection d -> h×d_k 图8-2 标准多头注意力的计算流程 2) 多查询注意力 MQA 多查询注意力（Multi-Query Attention, MQA）（Shazeer 2019）让所有注意力头共享同一组 K 和 V，仅 Q 保持多头：

                                              Qi = XWiQ ,
                                                                 K = XWK ,       V = XWV
                                                     headi = Attention(Qi , K, V)

KV Cache 从 O(h ⋅ d ⋅ t) 降至 O(d ⋅ t)，64 头模型减少约 98%。WMT 翻译任务性能损失 < 0.1 BLEU，推理速度提升 1.5- 3 倍，但在长序列和生成多样性上存在可观测退化，共享 KV 无法同时支持不同注意力模式（局部语法 vs 远程语义）。 k k Shazeer 发现 MQA 成功可归因于两个因素：不同头的键值投影矩阵在 MHA 中本来就高度相关（余弦相似度 > 0.7）；FFN 层提供了足够的逐头差异化。PaLM（Chowdhery et al. 2022）是首个大规模实践 MQA 的 540B 参数模型，推理吞吐比 MHA 提升约 2 倍，但少样本学习（Few-shot Learning）任务上有 1-2% 的精度损失。 MQA 的共享 KV 还简化了 GPU kernel 设计。标准 MHA 中每个头的 KV 需要独立加载，导致 h 次 HBM 读取；MQA 只需 1 次读取加 h 次 Q 计算，内存带宽占用大幅降低。这在长序列（batch=1）推理中尤为关键，此时注意力层是 memory- bound 而非 compute-bound。两者的键值共享结构对比如图8-3 所示。 MHA Q₁ MQA Q₁ K₁ Attn₁ Attn₁ K shared V₁ Q₂ Q₂ Attn₂ V shared K₂ Attn₂ V₂ 图8-3 MHA vs MQA 的键值共享结构对比 3) 分组查询注意力 GQA 分组查询注意力（Grouped Query Attention, GQA）（Ainslie et al. 2023）将 h 个查询头分为 g 组，每组共享一组 K 和 V： Qi,j = XWi,j Q , Ki = XWiK , Vi = XWiV 当 g = h 时退化为 MHA，g = 1 时退化为 MQA。KV Cache 压缩比为 g/h。不同分组规模下的缓存与典型配置如表8-3 所示。方案 KV Cache 大小表达能力典型配置 MHA (g = h) 2Lhdk t ★★★★★ 原始 Transformer GQA (g = h/4) 2L(h/4)dk t ★★★★☆ LLaMA 2 70B GQA (g = h/8) 2L(h/8)dk t ★★★☆☆ LLaMA 3 405B MQA (g = 1) 2Ldk t ★★★☆☆ PaLM 表8-3 KV Cache 压缩方案对比 Ainslie et al. 系统测试了不同 g 值和头分配策略。关键发现包括：均匀分组优于非均匀分组；增加 Q 头数的边际收益递减（h > 64 后困惑度改善 < 0.1）；在长序列任务上（32K 上下文总结），GQA 的优势比短序列更显著，压缩使更大 batch size 成为可能。从已训练的 MHA 检查点出发（Uptraining），通过均值池化合并多组 KV 头，仅需 10-15% 数据量即可收敛。对于需要合并为 1 组的 h/g 个原始 KV 头，取其投影矩阵的均值作为新共享投影，初始的性能下降在约 5000 步训练后完全恢复。 LLaMA 3 405B 采用 h = 128, g = 8 的激进配置，KV 头数仅 8。这一决策基于 8B 模型的缩放实验，从 8B 外推，405B 下 GQA 性能损失将小于 0.2%，体现了「在小模型上做架构选择决策」的工程方法论。 4) 多头潜在注意力 MLA 多头潜在注意力（Multi-head Latent Attention, MLA）由 DeepSeek-V2 团队在 2024 年提出。核心创新是不通过结构共享压缩，而是在低维潜在空间中对键值进行低秩压缩。设 c ∈ R 为潜在向量（d ≪ d ⋅ h）： KV t dc c k kC t =W ct , DK KV vtC = WDV cKV t 其中 W , W DK DV ∈ Rdc ×d 将压缩向量升维到模型维度。推理时仅缓存 c （维度 d ），注意力计算时实时升维： KV t c kt = WiDK cKV t , vt = WiDV cKV t 其中 W , W ∈ R 是升维矩阵按头拆分的子块。DeepSeek-V2 中 d = 5120，h = 128，d = 128，d = 512。原始 DK DV dc ×dk KV Cache 每词元 2 × 128 × 128 × 2 = 65, 536 字节（FP16），MLA 只需 2 × 512 × 2 = 2, 048 字节，压缩率约 32 倍。这一 i i k c 潜在压缩路径如图8-4 所示。 Q projection（down proje ction + up projection） Input X K up projection Attention computation d_c -> h×d_k KV joint down projection c^KV Latent vector d -> d_c (only this cached in KV Cac he) V up projection d_c -> h×d_k 图8-4 MLA 的潜在压缩流程 MLA 仅存储 d 维压缩向量，但 RoPE 需在 d 维空间旋转，DeepSeek-V2 因此设计了解耦 RoPE（Decoupled RoPE）：为每头设 d = 64 维专用键分量施加 RoPE，与 MLA 压缩部分共享查询。额外缓存 h × d = 8192 维（相比标准 h × d = c k R R 16384 维仍经济），查询侧也增加对应的 h × d 维以匹配维度，但查询不缓存，无内存负担。 h h k R h 在采用面上，DeepSeek-V3、V3.2、V4 全系采用 MLA，Kimi K2 与 K3 采用带门控的 Gated MLA。GQA 仍是稠密模型的标准，MLA 则是超大规模与超长上下文模型的优先选择。参数共享的影响不限于模型本身：压缩缓存直接降低了服务端每 token 的显存与带宽需求，使得更大 batch 与更低延迟成为可能。MLA 的潜在缓存配合分页式 KV 管理，是长上下文服务的重要前提。缓存压缩的收益需要在「内存容量」与「访存带宽」两个维度同时兑现才有意义。MLA 的潜在缓存不仅占用的显存更少，每次生成读取的字节也更少，带宽压力同步下降。对长上下文推理而言，带宽往往比容量更早成为瓶颈，缓存可以换设备、换页表来扩展，但带宽是物理上限。注意力参数共享的本质，是用参数与表达力的可控牺牲换取内存与带宽的数量级下降。在长上下文成为标配的 2026 年，这一取舍已无悬念：现代模型几乎一致选择了压缩缓存，区别只在压缩的粒度与门控的精细程度——GQA 压缩头数，MLA 压缩维度，Gated MLA 在压缩之上再加选择性记忆。从率失真理论看，MLA 的压缩性能上限取决于 d 是否覆盖键值矩阵的稳定秩；从计算-内存权衡角度看，所有方案都在用少量额外计算（2-5% 注意力开销）换取大量内存节省。四类机制的 c 演化谱系如图8-5 所示。 Shared KV MQA 1/h Shazeer 2019 KV Cache = 1/h MHA Group Shared KV GQA 2017 g/h Ainslie 2023 KV Cache = 100% KV Cache = g/h Low-rank compression MLA Extended to Video VideoMLA d_c ≪ h×d_k DeepSeek-V2 2024 2026 2026 KV Cache = d_c/(h×d_k) MLA in Video Diffusion 图8-5 注意力压缩的演化谱系

8.2.3 FlashAttention 与工程实现

FlashAttention 与注意力压缩 FlashAttention（Dao et al. 2022 / Dao 2023）不直接改变 KV Cache 大小，但通过 IO-aware 分块计算显著降低注意力 HBM 访问。其核心是在线 softmax，通过维护行最大值 m 和归一化分母 ℓ 实现流式分块计算： i i mnew i = max(mi , mij −mnew

i ℓ~ij FlashAttention 与 MLA/GQA 是互补关系——FlashAttention 优化注意力计算的时间效率（减少 HBM 往返），GQA/MLA 优化 KV Cache 的空间效率（减少常驻内存）。DeepSeek-V3 同时使用 MLA 和 FlashAttention-2，达到时空效率双重最优。 2) VideoMLA 2026 年，VideoMLA 将 MLA 扩展到视频扩散模型。VDM 的自注意力序列长度常达 10 量级，KV Cache 压缩比语言模型 5 更迫切。VideoMLA 的核心适配包括三方面： •时空分离压缩：空间维度（帧内块）和时间维度（帧间同位置块）分别建立 d 和 d 压缩路径； spatial temporal •渐进式潜在维度：早期去噪步骤使用更小 d ，后期细节生成阶段动态扩展； c c c •与 Flow Matching 联合优化：将压缩-解压缩写为连续归一化流，端到端学习最优压缩基底。 UCF-101 和 Kinetics-600 上 FVD 改善 18% 和 22%，注意力内存降低 64%。 3) 注意力压缩的工程实现在 GPU 推理中，KV Cache 的物理内存布局对性能影响显著。常见布局方式包括： •按层-按头布局：连续存储同一层、同一头的 KV 序列，有利于 FlashAttention 的分块访问； •按词元-按层布局：连续存储同一词元在各层的 KV，有利于投机解码中的多步验证； •页式 KV Cache（PagedAttention / vLLM）：将 KV Cache 分割为固定大小的页面，按需分配和回收，避免预分配造成的显存碎片和浪费。 MLA 的潜在向量压缩与 PagedAttention 的页式管理天然兼容，更小的缓存块意味着更细粒度的内存管理，减少了内部碎片。在张量并行（Tensor Parallelism）中，注意力头分布在多 GPU 上。GQA 和 MQA 减少了需要跨 GPU 传输的 KV 数据量，从每个 GPU 广播全部 KV 变为仅广播共享组的 KV。在 8-GPU 推理中，GQA (g = 8) 相比 MHA 减少了约 87% 的 KV 通信量。 KV Cache 的结构压缩（GQA/MLA）可以与数值量化（INT8/INT4/NF4）叠加使用。组合策略包括： •GQA + INT8 量化：在 LLaMA 3 8B 上，4K 上下文的 KV Cache 从 MHA+FP16 的 2 GB 降至 GQA+INT8 的 128 MB，压缩比 16×； •MLA + INT4 量化：DeepSeek-V3 的潜在向量 d = 512 进一步量化至 INT4，每词元 KV Cache 仅约 512 字节，使百万级上下文的纯 GPU 推理成为可能。 c GQA/MLA 不仅在推理时节省 KV Cache，在训练时也减少激活内存。在梯度检查点（Gradient Checkpointing）策略下，MHA 需保存所有注意力头的 KV 激活用于反向传播，GQA/MLA 分别节省 (1 − g/h) 和 (1 − d /(h ⋅ d )) 的激活内存。对 DeepSeek-V2 的 60 层模型，MLA 节省了约 60% 的注意力相关激活内存，使更大的 micro batch size 成为可能。 c k

8.2.4 注意力压缩的前沿与设计方法

注意力压缩的未来方向 2025-2026 年，注意力压缩的研究正从「静态压缩」转向「动态自适应压缩」，前沿方向包括： •动态 GQA：不同层使用不同的 g 值（浅层 g 大、深层 g 小），或不同头使用不同分组策略，使压缩率与层/头的重要性匹配； •输入依赖的压缩维度：MLA 的 d 不是全局固定值，而是根据当前词元的上下文复杂度动态调整，高熵词元（如名词、动词）分配更大的 d ，低熵词元（如标点）使用更小的 d ； c c c •注意力与检索的混合：将 KV Cache 的一部分卸载到外部检索系统（如向量数据库），仅缓存热点 KV 在 GPU 显存中，冷数据按需检索； •可逆注意力：通过可逆网络（Reversible Network）设计，使注意力计算可逆，消除 KV Cache 的存储需求，代价是额外的计算开销。注意力压缩的演化仍在持续。正如 DeepSeek-V3 报告所指出的，MLA 使 KV Cache 不再是长上下文的瓶颈，瓶颈转移到了注意力计算本身，这也对注意力机制的计算方式提出了新的优化需求。
注意力机制设计的方法回顾注意力机制从 2017 到 2026 年的演化，可提炼出三条核心设计原则： •识别并压缩冗余是第一性原理：MQA 发现不同头的键值高度相关（冗余存在于「头间」），GQA 在「组间」冗余与「组内」多样性之间建立权衡，MLA 在「特征维度」上发现并压缩冗余。每一次突破都源于发现了新的冗余维度； •硬件约束定义了设计空间边界：FlashAttention、MQA/GQA/MLA 的每一步都是对 GPU 的 HBM 带宽瓶颈这一约束的回应。理解硬件（内存层次、计算模式、通信拓扑）是理解架构创新的前提； •信息不应被压缩，而应被更紧凑地编码：MLA 的成功证明了压缩不等于丢失信息，通过可学习的升维投影，低维潜在向量可以恢复出高维键值中的有效信息。关键在于编码效率而非原始维度。注意力压缩的演化谱系体现了深度学习架构设计中理论、数学、工程与洞察的交织。

8.3 稀疏与线性注意力

标准自注意力的 O(n ) 复杂度源于每个位置的查询（Query）需与所有位置的键（Key）计算内积。但当序列长达数千甚至数万 token 时，全对全的注意力不仅是计算瓶颈，也在信息论上冗余——并非每对 token 之间都存在有意义的交互。稀疏注意力（Sparse Attention）的核心思想是：为每个查询选择性地关注一个远小子集的键，将计算复杂度从二次降到线性或准线性。

8.3.1 稀疏 Transformer 的固定模式

Child 等人（2019）在 Sparse Transformer 中提出了两种固定稀疏模式，将上下文窗口从全部 n 个位置缩减到 O( n) 个。其关键观察是：即使只关注精心选择的子集，模型仍能捕获全局信息。跨步模式（Strided Pattern）：查询位置 i 关注位置 i − 1, i − 2, … , i − k（局部窗口）以及步长为 l 的位置 i − l, i − 2l, … 。这种模式类似一维扩张卷积，以对数级别的跳数覆盖全文。固定模式（Fixed Pattern）：将序列划分为大小为 n 的块。位置 i 关注同一块内的所有位置，以及前序块中与 i 同列的位置。具体而言，若 i 在第 b 块内，则其键的集合为： Si = {j : ⌊j/ n⌋ = b} ∪ {j : j mod n = i mod n, j < i} 两种模式各关注 2 n 量级的键，复杂度降至 O(n n)。Sparse Transformer 在 CIFAR-10 图像生成（将图像展平为序列）、enwik8 字符级语言建模等任务上，以远低于密集注意力的计算量达到了可比甚至更优的 perplexity。

8.3.2 滑动窗口加全局注意力

Beltagy 等人（2020）的 Longformer 提出了更实用主义的稀疏方案：滑动窗口注意力辅以少量全局位置。滑动窗口指位置 i 仅关注 [i − w, i + w] 内的邻居，其中 w 是窗口半径（通常取 256 或 512）。这一模式天然支持长文档，因为局部上下文在绝大多数任务中是最关键的信息源。仅靠滑动窗口的问题在于信息传播速度受限。在 L 层 Transformer 中，最远传播距离仅为 L ⋅ w。为弥补这一缺陷， Longformer 引入全局注意力（Global Attention）：为少量预设位置（如 [CLS] token 或任务相关的特殊 token）保留全局视野，这些位置关注所有 token 且被所有 token 关注。 Text: [CLS] token1 token2 ... tokenN [SEP] Global: B <--- attends to all ---> S Window: ti <---> t(i-w) ... t(i+w) Longformer 的计算复杂度为 O(nw + n ⋅ g)，其中 g 是全局位置数（g ≪ n）。该设计在 arXiv 论文摘要、IMDB 影评等长文档分类任务上超越了 BERT 的密集注意力，同时将内存开销从 O(n ) 降至 O(nw)。 2

8.3.3 随机加全局注意力

Zaheer 等人（2020）的 Big Bird 从图论角度形式化了稀疏注意力的充分条件。他们证明：若将注意力模式视为有向图，当图同时满足以下三个性质时，稀疏注意力可以近似密集注意力的表达能力： •局部邻接：每个节点关注 w 个邻居（滑动窗口） •随机连接：每个节点额外关注 r 个随机选择的 token •全局连接：存在 g 个节点与所有其他节点双向互连 Big Bird 的每个查询关注 w + r + g 个键，总复杂度 O(n ⋅ (w + r + g))。随机连接的引入是图论证明的关键——它等价于将注意力图转化为一个扩展器图（Expander Graph），保证了信息在随机游走中快速混合。从工程角度看，Big Bird 在 Google 的 ETC 和 Long Range Arena 基准上展现了稀疏注意力在长序列任务中的竞争力。

8.3.4 稀疏模式的线性化

上述稀疏方法的共同目标是：将注意力矩阵的非零元素数从 O(n ) 压到 O(n)，且保证信息仍然能够通过多层传递到达任 2 意位置。三种方法代表了稀疏化的不同路径，其复杂度对比如表8-4 所示。方法稀疏类型每个查询关注的键数复杂度 Sparse Transformer (2019) 固定跨步 + 固定块 O( n) O(n n) Longformer (2020) 滑动窗口 + 全局 O(w + g) O(n(w + g)) Big Bird (2020) 窗口 + 随机 + 全局 O(w + r + g) O(n(w + r + g)) 表8-4 稀疏注意力方法对比在实践中，稀疏注意力需要在自定义 CUDA 内核中实现（如 Longformer 的 TVM 张量化注意力或 Big Bird 的块稀疏矩阵乘法），因为 PyTorch 的密集矩阵乘法无法跳过零元素。这一工程开销是非结构化稀疏模式在实际部署中的主要障碍。密集注意力到稀疏注意力的复杂度演变路径如图8-6 所示。 Dense Attention: O(n²) Sparse Transformer: O(n√ Longformer: O(nw + ng) Big Bird: O(n(w+r+g)) n) Strided Pattern Fixed Block Pattern Sliding Window Global Tokens Random Connections 图8-6 密集注意力到稀疏注意力的演变路径稀疏注意力在长文档 NLP 任务中展现了显著的内存和速度优势，但其核心局限在于：注意力模式的选取依赖于对任务结构的先验假设。并非所有长序列问题都适用局部窗口假设——例如 DNA 序列中相隔数千碱基的调控元件之间的相互作用，可能被固定窗口截断。相比之下，线性注意力从核函数的视角出发，在不显式构建注意力矩阵的前提下保留了全局交互能力。

8.3.5 核函数近似注意力

回顾缩放点积注意力的通用形式。设查询为 q ，键为 k ，值为 v 。注意力的输出为： i j j ∑nj=1 sim(qi , kj )vj oi = ∑nj=1 sim(qi , kj ) 标准注意力中 sim(q , k ) = exp(q k / d )，计算所有 i, j 对的相似度需要 O(n )。线性注意力的关键洞察是：若相似度 ⊤ 2 函数可以分解为特征映射的内积，即存在映射 ϕ : R → R 使得： i j i j k d m sim(qi , kj ) = ϕ(qi )⊤ ϕ(kj ) 则可以通过交换求和次序（结合律）将计算转化为： ϕ(qi )⊤ ∑nj=1 ϕ(kj )vj⊤ oi = ϕ(qi )⊤ ∑nj=1 ϕ(kj ) 分母中的 ∑ ϕ(k ) 是 n 个 m 维向量的求和（O(nm)），分子中的 ∑ n n ⊤ j=1 ϕ(kj )vj 是 n 次外积累加（O(nmd)）。对于 n 个位置，总计算量为 O(nmd)——与序列长度成线性关系，而非二次。 j=1 j

8.3.6 Linear Transformer 的设计

Katharopoulos 等人（2020）提出了 Linear Transformer，将上述核函数思想系统化。他们选择 ϕ(x) = elu(x) + 1 作为特征映射，其中 ELU 激活函数的常数项 1 确保特征向量的所有分量非负，从而保证相似度非负，这是 softmax 的关键性质。 Linear Transformer 的另一个创新是因果掩码的处理。在自回归生成中，位置 i 只能看到 j ≤ i 的过去位置。线性注意力中前向积攒的特性天然支持因果版本——每个时间步只需将当前的 ϕ(k ) 和 v 累加到运行统计量中： i i

 s = torch.zeros(m, dtype)           # running sum of phi(k)
 z = torch.zeros(m, d)                # running sum of phi(k) * v^T
 for i in range(n):
     phi_q_i = elu(q[i]) + 1
     phi_k_i = elu(k[i]) + 1
     v_i = v[i]
     s += phi_k_i
     z += torch.outer(phi_k_i, v_i)
     numerator = phi_q_i @ z
     denominator = phi_q_i @ s
     o_i = numerator / (denominator + 1e-8)

这一实现使推理时每个 token 的注意力计算量为 O(md) 而非 O(nd)，实现了真正的线性时间自回归生成。

8.3.7 正交随机特征与 Performer

特征映射 ϕ 的选择决定了线性注意力近似密集注意力的质量。ELU+1 映射虽然简单，但对 exp(q k) 的逼近误差在维度较 ⊤ 低时偏大。Choromanski 等人（2021）的 Performer 从随机傅里叶特征（Random Fourier Features）的角度给出了更精确的方案。其理论依据是 Bochner 定理的一个推论：对于高斯核 exp(−∥x − y∥ /2)，可以写为： 2 exp(−∥x − y∥2 /2) = Eω∼N (0,I) [exp(iω ⊤ x) exp(−iω ⊤ y)] 将 softmax 的指数重新参数化后，可以得到对注意力的无偏近似。Performer 进一步引入了正交随机特征（Orthogonal Random Features, ORF）：随机投影矩阵 W ∈ R 的行向量正交化（通过 Gram-Schmidt 或随机正交矩阵采样），显著 m×d 降低了单个随机特征的方差，使得在 m ≪ d 的小特征维度下仍能保持高近似精度。 Performer 的正向注意力计算为： ^ ⊤ vj ) q^i (∑j k j oi = ^⊤) q^i (∑ k j j 其中 q^ = ϕ(q )，k^ = ϕ(k )，ϕ 为基于 ORF 的正随机特征映射。 i i j j

8.3.8 线性化的精度权衡

线性注意力用 O(n) 的复杂度换取了全局视野，代价是精度的折损。核心权衡体现在以下几个方面： m 越大，核近似越精确，但计算量 O(nmd) 也越大。当 m → ∞ 时理论上可以精确恢复密集注意力，但在实践中 m 通常取 64 到 256。这相当于用低秩分解近似秩为 n 的注意力矩阵——近似质量受限于注意力矩阵的实际有效秩。短序列（n < 1000）上，线性注意力的计算开销反而可能大于密集注意力（因为额外引入了特征映射和运行累加）。长序列（n > 8000）上，线性方法的优势充分释放。这一特性使得线性注意力更适合作为长上下文场景的专用工具，而非通用替代。在自回归设置中，线性注意力的隐状态本质是一个固定容量的累加器。当序列极长时，早期信息被后续的累加不断稀释，类似于 RNN 的遗忘问题。这一现象在 Performer 和 Linear Transformer 的因果模式下均有观察到，也是后来 RetNet、 Mamba 等工作试图通过门控机制和选择性记忆解决的问题。标准注意力与线性注意力的计算流程对比如图8-7 所示。 Query q_i Key Storage Sum Accumulator Output o_i Standard Attention: O(n²) Compute q_i^T k_j for all j Return exp(q_i^T k_j) scores (n ops) Aggregate v_j with softmax weights Linear Attention: O(n) Compute phi(q_i) @ S_k Return accumulated results (O(md) ops) Compute o_i from pre-computed sums Query q_i Key Storage Sum Accumulator Output o_i 图8-7 标准注意力与线性注意力的计算流程对比线性注意力为长序列处理打开了新的可能性，但它的成败高度依赖于特征映射的质量。这一方法的真正影响在于：它证明了 O(n ) 并非注意力机制的必要代价，而只是实现方式的选择。这一思想在 RetNet、RWKV 和 Mamba 等架构中得到了延续和深化。

8.4 混合注意力

全量注意力的二次复杂度在百万 token 上下文下不可承受。现代模型不再依赖单一稀疏模式，而是将多种注意力机制组合进同一网络：局部窗口保障精度、内容选择聚焦关键 token、压缩机制提供全局记忆、线性近似以常数状态处理长程历史。这种混合设计是 2025 至 2026 年长上下文架构的主流形态，本节沿「滑动窗口 → DSA → CSA/HCA → SSM 混合」的路线展开。

8.4.1 从稀疏模式到混合设计

跨步模式、滑动窗口与全局 token 是稀疏注意力的三种基础形态，但单一形态的表达力有限：固定窗口截断长程依赖，纯全局 token 无法覆盖全部内容，静态模式则依赖对任务结构的先验假设。以 DNA 序列分析为例，相距数千碱基的调控元件之间的相互作用无法用固定窗口覆盖，这暴露了单一模式的硬边界。现代模型的关键转变在于混合，把不同粒度、不同复杂度的注意力机制分层或分路径组合，让每种机制处理它擅长的信息尺度。混合设计有两条主线。其一是同质稀疏，如滑动窗口叠加全局 token，由 Longformer、Big Bird 开创，Mistral 在 LLM 中验证；其二是异构混合，如窗口注意力与线性注意力交替，由 Jamba、Kimi K3 等推向工业前沿。两条主线并非互斥，DeepSeek-V4 的 CSA/HCA 组合就同时包含窗口、选择与压缩三种机制。混合注意力因此从「一种注意力运算」演化为「一个注意力系统」，其设计原则是：为每种信息尺度分配最经济的注意力机制——局部细节用窗口、关键历史用选择、全局语境用压缩、超长程用线性近似。这一设计原则也给读者提供了一个评估混合模型的框架：看一个模型的长上下文能力，不必逐层数机制，而应看它是否为「局部、中程、长程」三种信息尺度都安排了经济且有效的处理通路。若某一尺度缺乏对应机制，该模型在相应信息距离上的表现就会出现短板，例如仅有窗口而无全局机制的模型，难以处理跨段引用。

8.4.2 滑动窗口与全局注意力

滑动窗口注意力（Sliding Window Attention）将每个查询的可视范围限制在相邻 w 个 token 内，计算量随序列线性增长。Mistral 7B 采用窗口注意力验证了其在现代 LLM 中的可行性，但窗口机制有两个固有局限。其一，信息传播依赖逐层扩散，层深不够时远端信息难以到达。其二，固定窗口可能截断关键的长程关联，例如论文的结论引用引言中跨章节的论点，这类跨越需要专门的机制承载。为此，现代模型将窗口层与全注意力层或压缩层交替排布：窗口层处理局部细节，稀疏或压缩层定期提供全局信息。这一「局部精算 + 全局抽样」的结构，成为混合注意力的雏形。从设计角度看，窗口注意力承担了「高保真局部建模」的角色，其他机制则负责「低成本的全局覆盖」，二者互补而非替代。选择窗口大小本身也是权衡：窗口过小丢失上下文，过大则压缩收益消失。业界常用的窗口大小为 4096 到 8192，与「一次屏幕可读的文本量」大致相当，这一选择既照顾了局部建模需求，又控制了计算量。

8.4.3 DSA DeepSeek 稀疏注意力

DeepSeek 稀疏注意力（DeepSeek Sparse Attention, DSA）由 DeepSeek-V3.2-Exp 于 2025 年 9 月引入，是深度求索长上下文路线的起点。DSA 为每个查询组合两类键：局部滑动窗口内的连续键，以及按内容相关性选择的 top-k 个历史键。内容选择让长程交互不再受窗口限制，而是按语义相关性动态聚焦，模型可以跳过不相关的中间 token，直接关注语义相近的远端位置，这是固定窗口无法做到的。 DSA 的设计目标是硬件对齐与批量推理友好。token 选择通过轻量索引器（Lightning Indexer）完成，该索引器以低成本的粗粒度评分预筛候选 token，再在细粒度层做精确注意力。关键保证是每个查询的计算量固定，避免动态稀疏导致的不规则访存与负载波动，这使 DSA 层可以按固定预算调度 GPU 资源——对推理系统而言，固定的每 token 计算量意味着稳定的延迟与可预期的吞吐。网络中若干全注意力层与 DSA 层交替：全注意力层负责初始层的全局建模，DSA 层负责后续长程覆盖。DSA 为 V4 的压缩注意力奠定了「内容选择 + 硬件对齐」的方法基础，也证明了稀疏化不必牺牲内容感知。与固定模式的稀疏方法相比，DSA 采用学习式选择：固定模式中全局 token 由任务指定、随机连接与结构无关，而 DSA 的 top-k 选择由内容驱动的索引器学习得出，模型在训练中自主决定哪些历史位置值得关注。这一「从固定模式到学习式选择」的转变，让稀疏注意力从「设计者预设」走向「数据驱动」，是稀疏化方法论的实质性进步。它的代价是索引器本身的训练与校准，以及选择结果在推理时的复现一致性。

8.4.4 CSA 与 HCA 压缩注意力

DeepSeek-V4 将混合注意力升级为 CSA 与 HCA 的组合。压缩稀疏注意力（Compressed Sparse Attention, CSA）在 DSA 的内容选择基础上增加压缩环节，将历史信息压缩为稀疏表示，兼顾细粒度局部与粗粒度历史。重度压缩注意力（Heavily Compressed Attention, HCA）对超长历史做进一步压缩，为百万级上下文提供近乎摘要式的全局记忆，其开销与缓存随序列增长缓慢。 CSA 与 HCA 的分工可以理解为两层记忆系统：CSA 提供「近期的高分辨率记忆」，负责当前段落与邻近历史的精细交互； HCA 提供「全史的粗粒度记忆」，负责跨越数万 token 的主题一致性。两者组合的收益是数量级的：V4-Pro 在 1M 上下文下，相比 V3.2 单 token 推理 FLOPs 降至 27%，KV 缓存降至 10%。压缩是效率的根本来源，稀疏选择保证关键信息不被压缩吞掉，两者互为补充。压缩注意力的质量取决于压缩表示是否保留了可检索的信息，DeepSeek 的做法是让压缩表示参与注意力打分，使压缩与检索在同一空间内联合优化——被压缩的不是「被丢弃的信息」，而是「可被检索的表示」。另一个设计取向是 CSA 与 HCA 的预算分配可调。在预训练阶段可以给 CSA 分配更大的预算以学习更精细的表示，在推理阶段则按服务的延迟与成本目标动态收缩 HCA 的压缩率。这种「训练宽松、推理收紧」的弹性，让压缩注意力既能学得够好，又能在线上跑得够快。DeepSeek 的技术报告强调，压缩率、窗口大小与 top-k 选择是一组可联合调优的超参，而非固定结构，这为后续模型的适配留出了空间。

8.4.5 SSM 与线性注意力混合

第三条混合路线引入状态空间模型与线性注意力。Jamba 将 Mamba 层与注意力层交替堆叠：SSM 以线性复杂度处理长程序列聚合，注意力层定期提供内容感知的全局交互。Kimi K2 与 K3 采用 Kimi Delta Attention（KDA），属线性注意力一族：以 delta 规则维护隐状态递推，以常数状态记忆长程历史，与 softmax 注意力混合。线性注意力与稀疏压缩的差异在于状态语义：压缩注意力显式挑选或压缩历史 token，信息以离散 token 的形式保留，便于检索；线性注意力以隐状态积分全部历史，信息被折叠进固定维度的状态向量，状态紧凑、随序列零增长。前者可解释性强、便于前缀复用，后者内存占用恒定、无检索开销。两者各有取舍，混合架构则让每种机制各司其职：线性注意力负责长程语境，softmax 注意力负责精确检索。这一互补关系在 Kimi K3 中体现得尤为明确，KDA 覆盖百万上下文，Gated MLA 负责精细建模。纯线性注意力在复杂推理上的表现仍逊于 softmax 注意力，这是它难以完全取代注意力机制的根本原因。softmax 注意力的「内容感知的精确检索」能力，对复制、算术、多步推理这类需要精确指向的任务不可或缺。混合架构因此不是权宜之计，而是能力组合的必然：用线性注意力摊平长程成本，用 softmax 注意力保住关键精度。这一判断也解释了为什么 2026 年的主流模型没有选择纯线性架构。滑动窗口 DSA 内容选择 Query CSA 压缩融合输出 HCA 重压缩 KDA 线性注意力图8-8 混合注意力的组件谱系如图8-8 所示，现代混合注意力由窗口、选择、压缩与线性近似等组件构成，不同模型按任务需求选用不同组合：Mistral 用窗口，DeepSeek-V3.2 与 V4 用选择加压缩，Kimi K3 用线性加门控。单一机制的局限被组合消解，注意力从一种运算演进为一个系统。对读者而言，理解混合注意力不是记住某个模型的配置，而是把握「什么机制负责什么信息尺度」的设计原则——窗口管局部、选择管相关性、压缩管全局、线性管长程，四者共同构成现代长上下文注意力的完整拼图。

8.5 MoE 混合专家

稠密模型的前馈层（FFN）对每个 token 一视同仁地激活全部参数，但多数 token 只依赖 FFN 的一小部分能力，其余参数白占算力。混合专家（Mixture of Experts, MoE）将 FFN 替换为多个并行的专家，由路由器按 token 内容动态选择，实现「总参数量大、激活参数量小」的稀疏激活。这是万亿参数模型的容量根基，本节从路由、均衡、并行与代表性模型四个层面展开。

8.5.1 MoE 基础

混合专家模型概述混合专家（Mixture of Experts, MoE）模型是当前扩展大语言模型参数规模至万亿量级的核心技术范式。其核心理念是条件计算（Conditional Computation），在每次前向传播中仅激活模型参数的一小部分（稀疏激活），从而在大幅提升模型总参数量的同时，将计算开销控制在可接受范围内。本节追溯 MoE 从 2017 年的奠基性工作到 2025-2026 年前沿路由算法的完整演进。
MoE 的基本原理 MoE 架构将标准 Transformer 的稠密 FFN 层替换为一组并行的专家网络（Experts）和一个门控路由器（Gating Router）。对每个输入词元 x ∈ R ： d g(x) = softmax(xWg ), Wg ∈ Rd×E y = ∑ gi (x) ⋅ Experti (x)

i∈T (x) 其中 E 为专家总数，T (x) 为选中的 Top-K 专家索引集合。MoE 层的基本结构如图8-9 所示。 MoE 层的参数总量为 O(E ⋅ d ⋅ d )，但每次前向仅激活 K 个专家，实际计算量约为稠密 FFN 的 K 倍。当 E ≫ K 时，模型总参数量可以远超计算预算，这是 MoE 实现「性能跃升」的杠杆。 ff Expert 1 Expert 2 Weighted sum y = Σ g_i · Expert_i(x) Input token x Gating router Expert 3 g(x) = softmax(xW_g) ... Expert N 图8-9 MoE 层的基本结构 Shazeer et al.（2017）在「Outrageously Large Neural Networks」中首次将 MoE 应用于 LSTM 语言模型，引入两个影响至今的关键概念。辅助负载均衡损失（Auxiliary Load Balancing Loss）： E Laux = α ⋅ E ⋅ ∑ fi ⋅ Pi i=1 其中 f 为专家 i 被分配到的词元比例，P 为路由器对专家 i 的平均门控概率。 i i 专家容量（Expert Capacity）： tokens_per_batch Capacity = ⌈ × capacity_factor⌉ E 容量因子通常设为 1.25，允许 25% 缓冲。从实现视角看，一次 MoE 前向包含路由器打分、top-k 选择、专家计算与加权聚合四步。以下是共享专家加 top-k 路由的概念实现：

 # conceptual MoE forward with token routing
 def moe_forward(x, router, experts, top_k, shared_expert):
     logits = router(x)                        # (seq, num_experts)

g, idx = logits.topk(top_k, dim=-1) # gate scores and indices

     y = shared_expert(x)                      # shared expert always on
     for k in range(top_k):
         expert = experts[idx[:, k]]
         y = y + g[:, k:k+1] * expert(x)
     return y

里程碑 GShard（Lepikhin et al. 2020）是首个将 MoE 应用于 Transformer 的大规模系统，在 600B 参数的翻译模型中验证了 MoE 的可扩展性。GShard 引入了专家切片（Expert Slicing）技术——将每个专家的参数在多个设备上分片存储，通过 All-to-All 通信实现跨设备路由。 Switch Transformer（Fedus et al. 2021）将 MoE 进一步简化：K = 1（每个词元仅路由至一个最优专家）。Switch Transformer 证明了即使 K = 1 也能保持较好的性能，同时将计算开销降至最低。其在 C4 数据集上的实验展示了从 8B 到 1.6T 参数的稳定缩放。 Switch Transformer 还引入了容量因子（Capacity Factor）的系统分析。当容量因子从 1.0 增加到 1.5 时，词元丢弃率从约 15% 降至约 1%，但计算开销增加 50%。该分析建立了「计算-质量」的显式权衡曲线。 Z-loss 正则化（Zoph et al. 2022）为避免路由器 logits 的数值不稳定（过大导致 softmax 饱和），在门控 logits 上施加辅助损失： ∑ (log ∑ exp(gij )) Lz = λz ⋅

N i j 该损失鼓励门控 logits 保持在零附近，防止 softmax 锐化，是 MoE 训练的标配技术。 4) 主流 MoE 模型如表8-5 所示，MoE 已从小规模探索演化为前沿模型的标准配置。表中六款模型均为完全开源。模型总参数激活参数专家配置路由注意力方案设计哲学 Mixtral 8x7B 46.7B 12.9B 8 专家 top-2 MHA 开源 MoE 先行者 DeepSeek-V3 671B 37B 1 共享 + 256 路由 top-8 MLA 以计算换内存 Qwen MoE 57B 14B 8 共享 + 64 路由 top-8 GQA 细粒度降本验证模型总参数激活参数专家配置路由注意力方案设计哲学 Kimi K3 2.8T 数十B 896 专家 top-16 Gated MLA 超大 MoE 工程前沿 Llama 4 约400B 未公开未公开 Top-K + 辅助损失 GQA 架构稳健演进 + 数据规模化 Qwen3-MoE 约200B 未公开未公开（含共享专家）动态 Top-K GQA 测试时计算智能匹配表8-5 主流 MoE 模型对比 Mixtral 验证了 top-2 稀疏在开源生态的可行性，其 8 专家、每 token 激活 2 个的结构简单而有效，首次让大众用户接触 MoE。DeepSeek-V3 确立了「共享专家 + 细粒度路由」的组合：1 个共享专家处理通用知识，256 个细粒度专家提供多样化专长，每 token 激活 top-8，细粒度化让路由选择更精细。Qwen MoE 将相同思想应用到中小规模，以 64 个路由专家加 8 个共享专家在 57B 总参数下控制激活在 14B，验证了 MoE 在中等规模同样有效。Kimi K3 则把专家规模推至 896 个、每 token 激活 16 个，代表超大 MoE 的工程前沿。各代模型的共同点是以相对较小的激活参数换取接近稠密模型的质量，区别在于专家粒度与均衡策略的精细化程度。从训练成本的角度看，MoE 还改变了「参数量与算力的映射关系」。稠密模型的参数量直接决定训练算力，而 MoE 可以在不增加激活算力的前提下大幅扩大参数量，这意味着在算力预算固定的集群上，MoE 能训练出记忆容量远超稠密模型的权重。这也是 2025 至 2026 年开源模型「参数量快速超越闭源」的幕后推手之一，开源社区受算力约束更强，MoE 恰好把容量与算力解耦，让有限的算力买到更大的记忆。与稠密模型相比，MoE 还有「容量梯度平滑」的好处：稠密模型扩容必须成倍增加参数量（层数或维度），步长粗；MoE 通过增加专家数可以按更细的粒度扩展容量，训练与部署的资源配置更灵活。这一性质让 MoE 成为「规格自由」的架构，同一个架构内核可以通过调整专家数适配从百亿到万亿的不同规模，是模型家族化生产的重要基础。DeepSeek-V4 的 Pro 与 Flash 双版本、Kimi K3 的 2.8T 单一巨型配置，都是这一灵活性的体现。 top-k Expert 1 top-k Expert 2 Token x Router Weighted Sum Output top-k Expert k always on Shared Expert 图8-10 MoE 层的路由与聚合 MoE 的演进主线是让稀疏激活更稳、更均衡、更易训练：从辅助损失到 aux loss-free，再到 Quantile Balancing；从均匀专家到共享专家与细粒度专家分层。如图8-10 所示，路由决策与聚合计算共同决定了 MoE 的质量与效率，而现代模型的每一次均衡创新，都在降低这一机制的工程摩擦。对工程师而言，MoE 的价值不只在模型质量，更在于它让「更大模型、更低激活成本」成为可工程实现的现实，在算力预算固定的约束下，MoE 是扩容的首选杠杆。

8.5.2 设计选择

路由机制的演化 Top-K 路由（Shazeer 2017）最简单也最广泛使用，选择门控分数最高的 K 个专家： T (x) = TopK (gi (x)) i∈{1,…,E} 专家选择（Expert Choice, EC）路由（Zhou et al. 2022）由专家主动选择词元，每位专家根据亲和度得分选取 Top-C 个最匹配的词元。EC 路由天然保证完美负载均衡，但需要全局排序操作。路由的实际调参还需注意两点： •softmax 温度：决定门控分布陡峭度，温度越低路由越激进（接近 argmax），越高越保守； •top-k 取值：直接平衡负载分布与表达能力，k 过小单 token 计算轻但专家覆盖窄，k 过大则稀疏优势减弱。两者是 MoE 效果调试的核心旋钮。三种路由策略的决策逻辑对比如图8-11 所示。 Expert-choice routing Top-K Routing

Auxiliary Loss Free Each expert selects Each token independently DeepSeek-V3 Approach Dynamic bias term Eliminate auxiliary loss expert-choice tokens C tokens with highest affin Natural load balancing token-choice experts selects Needs auxiliary loss Cumulative bias correction Gradient conflicts ity No auxiliary loss needed K experts with highest gat Prevent load imbalance e scores 图8-11 三种路由策略的决策逻辑对比辅助损失自由负载均衡（Aux-Loss-Free）（DeepSeek-V3 2024）通过为每个专家的门控分数添加动态偏差项 b ： i gi′ (x) = gi (x) + bi 偏差项通过累积统计进行更新，被过度使用的专家减小 b ，反之增大。b 不参与梯度计算（stop-gradient），消除了辅助损失带来的梯度冲突。DeepSeek-V3 的实验在 14.8T 词元训练中始终保持小于 2% 的专家间负载差异。 i i DOT-MoE（Differentiable Optimal Transport MoE）（2026）将路由形式化为最优传输（Optimal Transport, OT）问题。考虑 N 个词元和 E 个专家的分配矩阵 T ∈ R ，通过 Sinkhorn 算法求解： N ×E T∗ = Sinkhorn(C, r, c) 其中 C 为词元-专家亲和度，r ∈ R 和 c ∈ R 为边际约束。Sinkhorn 算法通过交替缩放行和列逼近最优传输方案，完全 N E 可微。DOT-MoE 在 1T+ 参数规模实验中展示了比 DeepSeek-V3 更好的专家利用率和约 3% 的训练收敛加速。各路由方案的对比汇总如表8-6 所示。路由方案年份决策方向负载均衡机制额外开销代表工作 Top-K 2017 词元→专家辅助损失 + 容量限制低 GShard, Switch Transformer Expert Choice 2022 专家→词元天然均衡中（全局排序） EC-MoE (Google) Aux-Loss-Free 2024 词元→专家动态偏差项（无梯度）极低 DeepSeek-V2/V3 DOT-MoE 2026 词元↔专家 Sinkhorn 最优传输中（迭代求解） DOT-MoE (2026) 表8-6 MoE 路由方案对比路由还有一个常被忽略的作用：它把模型的「知识寻址」显式化。稠密模型的 FFN 隐式地让每个 token 走完整通路，而 MoE 的路由器显式地为 token 分配专家，等价于在 FFN 层面做软寻址；共享专家与细粒度专家的分层，则可以理解为「通用知识放固定入口、专长知识按需寻址」，这与人类组织的知识检索架构有直观的对应。从信息论的角度看，路由本身也是压缩的一种形式：稠密模型把知识均匀散布在全部参数中，任何 token 都必须「读完全部」；MoE 则把知识按主题分片存入专家，路由器像一个稀疏的索引，让每个 token 只读取相关的知识子集。两个视角共同解释了 MoE 在知识密集任务上往往优于同激活量稠密模型的原因，同样的激活算力下，「定向读取」带来更高的知识利用率。 2) MoE 中 FFN 的进化 SwiGLU 是 Swish 门控线性单元的简称。在 MoE 语境下，每个专家的 FFN 可独立采用不同的激活函数甚至架构。 Confidence-Adaptive SwiGLU（2026）为 MoE 架构定制了激活函数，引入专家相关的置信度缩放因子： (i) (i) Experti (x) = (xW1 ⊙ σi ⋅ Swish(xWg(i) ))W2 其中 σ ∈ [0, 1] 为可学习置信度参数。高置信度专家维持完整激活能力，低置信度专家趋向恒等映射，使路由器更容易识别「沉默」专家。实验显示在 MoE 环境中比标准 SwiGLU 提供约 1.5-2% 的困惑度改善。 i 细粒度专家（Fine-grained Experts）（DeepSeekMoE 2024）将传统的大专家进一步拆分为更多小专家，增加路由粒度。例如，DeepSeek-V2 的 160 个专家中，每个专家的隐含维度为 d = 1536（而非传统的 8192）。细粒度使路由组合更灵活，同一词元可以调用不同类型小专家的组合。 ff 共享专家（Shared Expert）机制设置一个始终被激活的共享专家处理通用模式，路由专家处理特异模式。这种设计既保留了稠密模型对常见模式的处理效率，又获得了 MoE 对长尾专业的覆盖优势。 3) 三大 MoE 设计哲学对比以 2024 至 2026 年的三款旗舰模型为代表，存在三条不同的 MoE 设计路径。DeepSeek-V3 走架构侧优化：以 MLA 极致压缩 KV Cache，以细粒度专家加共享专家实现高度稀疏激活，14.8T 词元的预训练仅耗 2.788M GPU 小时（H800），设计哲学是「以计算换内存」。Llama 4 走数据侧规模化：延续 LLaMA 系列稳健演进风格，以原生多模态（Early Fusion）拓展模态，用 GQA 而非 MLA，靠约 30T+ 词元的训练数据弥补架构效率差异。Qwen3-MoE 走推理侧自适应：「思考模式」原生 MoE 让推理模式与路由联动，动态 Top-K 按输入复杂度调整激活专家数，实现测试时计算预算与模型容量的智能匹配。三条路径的分歧本质在于把优化杠杆放在哪里：DeepSeek 放在架构与内存，Meta 放在数据，Qwen 放在推理时计算。对选型而言，这一对比提示读者：MoE 的价值不只取决于专家数量与路由算法，还取决于它与注意力、数据规模、推理部署的整体配合。

8.5.3 实践与前沿

MoE 的训练与推理挑战 MoE 训练中，每个 MoE 层涉及全对全（All-to-All）通信。DeepSeek-V3 通过专家-设备映射优化和通信-计算重叠技术将 MoE 通信开销控制在总训练时间的 15% 以内。路由器的门控权重可能坍缩到只激活少数强专家。防御策略组合包括辅助损失、容量限制、动态偏差项与监控告警。其中 DeepSeek-V3 的 aux loss-free 为每个专家维护一个可训练的偏置项，根据批次内专家接收 token 数与理想值的偏差动态调整偏置，训练目标中不含负载均衡项，均衡由偏置机制隐式完成；Kimi K3 的 Quantile Balancing 则直接按 router 分数分位数分配专家，每个专家稳定获得确定比例的 token，消除启发式更新与敏感超参。两种方案都试图在不引入额外损失项的前提下实现均衡，区别在于 V3 用隐式偏置，K3 用显式分位数。 MoE 的全部专家参数均需加载。DeepSeek-V3 的 671B 参数即使用 INT4 量化也需约 335 GB 显存，推动了专家卸载（Expert Offloading）和异构内存管理技术发展。微调场景中批大小小，需更保守的容量因子。经验法则：E ⋅ K 个词元是每个 MoE 层有效训练的最小批大小。在分布式训练中，专家可以有三种并行方式： •数据并行 + 专家复制：所有专家在每个设备上都有副本，路由仅本地执行； •专家并行：不同设备持有不同专家，词元通过 All-to-All 发送到专家所在设备； •混合并行：部分专家复制（高负载专家），部分专家分片（低负载专家）。
MoE 的前沿方向 2026 年 MoE 研究的前沿方向包括： •终身学习 MoE：通过动态添加专家存储新知识，冻结旧专家实现持续学习； •异构专家：不同专家采用不同架构（不同维度的 FFN 或甚至不同的激活函数），路由器根据计算预算选择不同成本的专家，这称为「推理时自适应计算」（Inference-time Adaptive Computation）； •MoE + SSM 融合：将 MoE 的选择性计算思想引入 Mamba 等状态空间模型，在 SSM 的高效递推和 MoE 的容量扩展之间寻找平衡； •自组织 MoE：去除手工路由器，让专家通过竞争机制（如输入相关的能量函数最小化）自动形成专业化； •跨模态 MoE：不同模态（文本、图像、音频）使用各自的专家，共享路由器实现跨模态知识迁移。
MoE 的分布式训练策略 MoE 层的 All-to-All 通信是分布式训练的主要开销来源，优化策略包括： •分级 All-to-All：先在节点内（NVLink 域）完成专家内通信，再跨节点（InfiniBand）完成专家间通信。DeepSeek-V3 利用 H800 的 NVLink 带宽（900 GB/s）处理节点内通信，节点间使用 InfiniBand（400 GB/s），通过流水线重叠将通信开销压缩至总时间的 10-15%； •专家-设备映射（Expert-Device Mapping）：根据专家的负载统计动态分配专家到设备，高负载专家分配到高带宽设备（如 HBM 更大的 GPU），低负载专家可多个共享同一设备。这一映射在每个训练 epoch 开始时根据前一 epoch 的统计更新； •通信-计算重叠（Overlap）：在等待 All-to-All 通信完成的同时，对已经到达的词元开始执行专家的 FFN 计算，这要求细粒度的 kernel 分解和 CUDA stream 管理； •共享专家（Shared Expert）：把高频共享知识放入始终激活的共享专家，避免在多个专家间重复路由，降低通信与容量浪费，共享专家承载所有 token 都需要的通用知识； •设备内优先路由：优先把 token 分配给本设备的专家，减少跨设备通信，代价是轻微的负载倾斜，可在通信效率与均衡之间找到实用平衡点。在分布式实现中，专家并行通常与数据并行、张量并行叠加使用。一个常见配置是：注意力层用张量并行切分，MoE 层用专家并行切分，token 在两层之间切换通信域。这要求通信拓扑能同时支持「层内张量并行」与「层间专家 All-to- All」，是分布式训练框架的重要设计点。MoE 的加入还改变了显存规划：全部专家权重需要常驻显存，若专家数过多无法单机容纳，就需要跨节点放置，通信延迟随之上升。工程上通常以「激活参数/专家」与「通信预算」的平衡来决定专家粒度。 MoE 引入的稀疏性和条件计算对数值稳定性提出额外挑战： •门控 logits 的爆炸：路由器的 g (x) 可能在训练中漂移，导致 softmax 饱和。Z-loss 正则化和 logit 裁剪（clamp to [-10, 10]）是标准防御手段； i •专家的梯度不平衡：高频专家累积更多梯度更新，低频专家更新稀疏。Adam 优化器的自适应学习率部分缓解了此问题，但极端不平衡（激活比 > 100:1）仍需容量限制； •混合精度训练的适配：BF16/FP16 训练中，门控 logits 和 softmax 计算建议保留在 FP32，防止精度不足导致的专家选择错误。 MoE 已从 GShard（2020）的探索发展为 2024-2025 年成熟的生产级架构方案。DeepSeek-V3 的成功证明了 MoE 路线在千亿参数规模下的经济可行性，其训练成本（约 $5.6M）仅为同规模稠密模型的约 1/4。
MoE 架构设计的方法论 MoE 的演化揭示了以下核心设计原则： •稀疏性是对「均匀计算」的根本质疑：稠密模型对每个输入执行相同计算，但不同输入的复杂度差异巨大。MoE 通过条件计算实现了「不同输入、不同计算路径」，是计算效率的根本提升； •负载均衡与专家专业化是对立统一：完美的负载均衡意味着所有专家都被均匀使用，但极致的专家专业化要求某些专家处理更多词元。最优解存在于二者的张力之中，Aux-Loss-Free 和 DOT-MoE 都是从不同角度逼近这个最优解； •MoE 的「超线性」价值：将模型参数扩大 E 倍（通过 MoE），性能提升超过 log E 倍。这种超线性关系是 MoE 相比稠密缩放的核心经济优势。

8.6 训练与优化创新

参数规模迈入万亿级后，Adam 优化器状态的内存开销与收敛速度成为瓶颈。现代训练栈在优化器、训练目标与数值精度三线创新：Muon 以矩阵结构感知更新替代逐元素自适应，Per-Head Muon 将正交化细化到注意力头，MTP 多 token 预测提升样本效率，FP8 与 MXFP4 低精度训练压缩显存与算力。

8.6.1 大规模训练的瓶颈

Adam 为每个参数维护一阶矩与二阶矩，优化器状态约为参数量的两倍。以 1.6T 参数计，优化器状态即达 3T 以上规模，在多机集群上带来显著的显存与通信压力：每次更新都要同步全部优化器状态，通信量是单纯梯度同步的数倍。更本质的问题在于更新方式：Adam 按元素独立更新，忽略参数矩阵的谱结构，对低秩、结构化的权重收敛较慢。从几何视角看， Adam 的逐元素自适应等价于对角预条件，它假设参数各维独立，无法利用权重矩阵的行列结构信息。 Adam 的另一问题是超参敏感。学习率、权重衰减、一阶与二阶矩的衰减系数都需要精细调优，在万亿参数规模下，一次调参实验的成本极高，调参窗口也随训练周期拉长而变得不可行。这些问题催生了两个方向：让更新更贴近矩阵结构的优化器（Muon），以及让每一步训练提供更多学习信号的训练目标（MTP）。前者降低了对超参的敏感度，后者提升了数据利用效率，二者从不同侧面缓解规模化的瓶颈。优化器状态的显存占用还反向影响了 batch 与模型规模的配置。为了容纳 Adam 的两倍参数量状态，训练时往往被迫缩小 batch 或使用更激进的分片策略，这会降低数据效率或增加通信开销。因此，优化器状态大小与训练吞吐直接相关，任何能压缩状态或加速收敛的优化器，都会转化为集群吞吐的提升。这正是现代训练栈把优化器提升到「架构决策」高度的原因——Muon 在降低状态规模的同时加速收敛，双重收益使它成为万亿规模训练的首选。

8.6.2 Muon 优化器

Muon 的出发点是几何视角：把权重矩阵视为半正交矩阵（Stiefel 流形）上的元素，更新时先做动量，再经牛顿-舒尔茨（Newton-Schulz）迭代做正交化，最后沿正交化后的梯度方向步进： m ← βm + g, m = NS(m), ^ W ←W −η ^ m 其中 NS 表示牛顿-舒尔茨正交化迭代。正交化使有效学习率沿矩阵维数近似线性增长，而逐元素更新不具备这一几何性质。直观上，Muon 把参数矩阵的谱结构纳入更新规则：它优先沿与当前权重方向正交的方向更新，避免更新被权重的最大奇异方向主导。正交化的具体实现是牛顿-舒尔茨迭代，它把矩阵迭代地推向最接近的半正交矩阵，成本远低于显式 SVD。 Muon 的实践惯例是分工使用：矩阵参数用 Muon，向量参数（嵌入、归一化、偏置）用 AdamW。这一组合在多个规模上取得比纯 AdamW 更快的收敛。DeepSeek-V4 采用 Muon 加速收敛并提升训练稳定性，支撑了 32T+ token 的万亿参数预训练。Muon 对低精度训练的稳健性也是其优势之一：正交化更新对数值扰动不敏感，降低了低精度训练的不稳定性，扰动会被正交化步骤「拉回」合理的方向，而非在逐元素更新中被放大。从超参角度看，Muon 降低了调参的维度。Adam 需要同时调节学习率、权重衰减与两个矩系数，而 Muon 的正交化步骤本身就具有归一化效应，对学习率的敏感度明显低于 Adam。这对万亿参数训练意义重大：更宽的学习率安全区间意味着可以更激进地调度学习率，或在不同规模迁移学习率配置时减少重调成本。Muon 的权重衰减应与 AdamW 的耦合方式不同——正交化后再施加权重衰减，会让衰减方向也经历流形投影，这是实践中最容易出错的细节。

8.6.3 Per-Head Muon

 def muon_step(param, momentum, lr, weight_decay):
     # matrix-level update with orthogonalization
     g = param.grad + weight_decay * param
     momentum = beta * momentum + g
     g_ortho = newton_schulz_orthogonalize(momentum)
     param -= lr * g_ortho
     return momentum

Kimi K3 采用 Per-Head Muon，将 Muon 的正交化更新逐注意力头应用，而非作用于整块融合的 QKV 投影矩阵。动机在于结构匹配：融合矩阵混合了异构的子空间，查询、键、值的语义空间彼此不同，整体正交化会跨子空间混叠；逐头正交化让每个头的更新方向独立可控，与多头注意力的语义结构一致，每个头可以在自己的子空间内保持正交性质。 Per-Head Muon 还有数值上的好处：逐头正交化将问题分解为多个小规模正交化，每个头的谱结构更单纯，牛顿-舒尔茨迭代的收敛更快，数值行为也更稳定。在 K3 中，Per-Head Muon 与 MXFP4 量化训练配合，改善了训练动态并维持稳定性。它代表了优化器设计从「模型级」向「组件级」细化的趋势——优化器不再是无差别的黑盒，而是可以对齐到具体子结构的组件。这一趋势与架构组件的模块化互为表里：架构越模块化，优化器越能逐模块适配。

8.6.4 MTP 多 token 预测

多 token 预测（Multi-Token Prediction, MTP）由 Gloeckle 等人于 2024 年提出：在共享主干之上挂接多个并列输出头，一次同时预测未来 k 个 token。训练目标为多个位置的交叉熵之和，主体参数共享，仅输出头分叉。与经典的「下一个 token 预测」相比，MTP 每个训练样本提供 k 个监督信号，训练信息密度显著提升。 MTP 的收益来自更远的预测压力：预测第 t + k 个 token 迫使模型在表征中保留长程规划信息，而非只关注紧邻的下一个 token。实验表明 MTP 提升样本效率与下游质量，尤其在代码与数学这类需要长程结构的任务上——预测较远的 token 相当于让模型「提前规划」，这种压力塑造了更全局的表征。DeepSeek-V3 起将 MTP 作为辅助训练目标，在不显著增加算力的情况下改善预训练效果。MTP 的工程实现需要额外的输出头与损失项，但与主损失共享主干，边际算力开销很小，已成为现代预训练目标函数的标配补充。 MTP 的设计还带来了一个推理侧的红利：多个并列输出头共享主干，推理时只需保留第一个输出头，其余头可以裁剪，不会增加部署体积。训练时它扮演「正则化与表征塑形」的角色，推理时则完全隐身。这种「训练多花、推理不花」的特性，让 MTP 在工程上几乎零成本，也成为它被广泛接受的重要原因。可以预见，更远的预测步数、可学习的预测深度，是 MTP 后续演进的方向。

8.6.5 低精度与量化训练

数值精度是规模化的隐性杠杆。BF16 混合精度已成为标配，其指数范围大、尾数少，适合训练中的大动态范围，但显存占用仍随参数线性增长。FP8 训练进一步以动态缩放管理溢出，FlashAttention-3 等内核已支持 FP8 前向，将训练算力成本再降一个量级。FP8 的关键工程在于缩放因子的管理：以张量为粒度或按通道为粒度估计数值范围，在乘加前缩放、在输出时反缩放，避免窄精度下的溢出与精度损失。缩放粒度越细，数值范围适配越好，但反缩放的开销也越大。量化感知训练（QAT）把低精度推进到训练阶段。Kimi K3 自 SFT 阶段起采用 MXFP4 权重与 MXFP8 激活的混合精度训练：MX 微缩放格式以共享指数打包低位数值，权重低至 4-bit 而激活保持 8-bit。训练即低精度，模型部署时无需二次量化，显存、带宽与算力全面下降。QAT 的难点在于前向中模拟量化（Quantization-Aware Forward），让模型在训练时就适应低位数值的量化噪声——通过直通估计器把量化噪声纳入反向传播，模型学会在低位精度下保持鲁棒。QAT 与低精度激活选择（如 SiTU）配合，是低位训练稳定性的双保险。选择 SFT 阶段而非预训练阶段启用 MXFP4，是基于成本与风险的权衡。预训练阶段的梯度动态范围大、学习率调度复杂，低位前向的噪声可能累积为训练不稳定；SFT 阶段训练步数少、数据分布更接近部署场景，量化感知的成本可控，且对齐过程本身就能让模型适应量化鲁棒性。这一「分阶段精度策略」提示读者：量化不是全有或全无的开关，而是可以在训练管线中按阶段配置的维度。 Parameter matrix Momentum Newton-Schulz 正交化 Muon update Vector params AdamW update FP8 MXFP4 混合精度 Stable convergence Training tokens MTP 辅助目标图8-12 现代训练栈的协同创新如图8-12 所示，现代训练栈由优化器、目标与精度三环协同：Muon 与 Per-Head Muon 改善更新方向，MTP 增强学习信号，FP8 与 MXFP4 压低成本，三者共同把「更大规模、更快收敛、更低成本」变为可能。对工程师而言，训练创新的收益直接体现在单位算力预算内可训练的最大模型规模，以及训练到同等质量所需的 token 数与时间。理解这三环，就能读懂现代大模型技术报告中的「训练效率」部分。

第 8 章 现代大模型架构

第8章 现代大模型架构