第 14 章 多模态
第14章 多模态
14.1 视觉编码基础与 ViT
Transformer 在 NLP 中取得统治性地位后，一个自然的问题是：同样的架构能否迁移到计算机视觉？长期以来，卷积神 经网络（CNN）凭借平移等变性（Translation Equivariance）和局部感受野的先验优势，在视觉任务中占据几乎不可撼 动的地位。Vision Transformer（ViT, Dosovitskiy et al., 2021）挑战了这一局面，证明纯 Transformer 架构配合足够的 预训练数据可以在图像分类任务上超越 CNN。图像如何切分为 Patch token 序列、如何映射为嵌入向量，不再赘述；本 节聚焦 ViT 的架构设计、与 CNN 的对比以及预训练特性。
14.1.1 ViT 的架构设计
ViT 使用的是纯 Transformer 编码器，不包含任何卷积操作。其架构与原始 Transformer 编码器几乎完全相同：多层自注 意力 + 前馈网络，前置层归一化（Pre-LayerNorm），使用 GELU 激活函数。关键差异仅在于输入的预处理——将图像 Patch 序列化。 这种极简设计是 ViT 刻意为之的策略。Dosovitskiy 等人的核心论点是：如果 Transformer 在 NLP 中不需要特定于语言的 归纳偏置就能成功，那么在视觉任务中也应该如此，前提是数据足够大。ViT 的架构消融实验验证了这一点：在小型数据 集（如 ImageNet-1K，1.2M 图像）上，ViT 的性能不如同等计算量的 ResNet；但在大规模数据集（如 JFT-300M，3 亿 张图片）上，ViT 全面超越 CNN。 Input Image 224×224×3 Split into Patches 16×16 Linear Projection to D=768 Add Position Embedding Prepend CLS Token Transformer Encoder ×12 MLP Head Class Prediction 图14-1 ViT 模型的前向计算流程
14.1.2 与 CNN 归纳偏置对比
CNN 内建了两种强大的归纳偏置（Inductive Bias）：平移等变性（卷积核在图像各处共享参数）和局部性（每个神经元 仅关注感受野内的像素）。这些偏置赋予 CNN 极高的样本效率——即使只有几千张训练图像也能学到有意义的特征。 Transformer 没有任何这些内置偏置。自注意力层中，每个 Patch 可以与其他所有 Patch 交互，全局感受野从第一层就已 建立。位置信息仅通过可学习的位置嵌入提供，模型必须在训练过程中自己发现图像的二维结构。这解释了为何 ViT 在数 据不足时表现不佳：它需要从零开始重新发现图像的局部性、平移等变性等规律。 从偏置-方差权衡的角度，CNN 是强偏置-低方差模型（适合小数据），ViT 是弱偏置-高方差模型（适合大数据）。这一特性 使得 ViT 在预训练-微调范式下极为高效：大规模预训练弥补了归纳偏置的缺失，而微调时对归纳偏置的非依赖反而带来 了更大的灵活性和更高的性能上限。
14.1.3 预训练与数据需求
ViT 展现了显著的尺度律（Scaling Law）：模型性能随着预训练数据集规模的增大而持续提升，且增长曲线尚未出现平台 期。在 JFT-300M 上预训练的 ViT-H（632M 参数）在 ImageNet 上达到 88.55% Top-1 准确率，同期的 BiT-L（ResNet 架 构，940M 参数）仅为 87.54%。 这一发现推动了视觉基础模型的范式转变。此后，DINO（Caron et al., 2021）和 MAE（He et al., 2022）等研究进一步 证明，自监督预训练可以显著降低对标注数据的需求。MAE 的掩码自编码器策略（随机遮挡 75% 的 Patch 并要求模型重 建）尤其适合 ViT 架构，因为非重叠的 Patch 划分使得掩码操作不会像像素级遮挡那样留下连续性线索，迫使模型学习高 层语义而非低层纹理的插值。 在参数效率方面，ViT 的参数量随 Patch 大小调整。Patch 越小（如 8 × 8），序列越长，计算量越大但粒度越细；Patch 越大（如 32 × 32），序列越短但信息损失越多。最优策略通常是在计算预算允许的条件下选择较小的 Patch。
14.1.4 ViT 的关键衍生
ViT 的极简设计虽然证明了 Transformer 在视觉任务中的可行性，但其原始形式存在两个效率瓶颈：一是自注意力的 O(n ) 复杂度限制了高分辨率输入的可行性；二是缺乏多尺度特征表示，对需要密集预测的任务（如目标检测、语义分 割）不友好。 DeiT（Data-efficient Image Transformers, Touvron et al., 2021）解决了 ViT 对小数据集的依赖问题。DeiT 引入蒸馏 token（Distillation Token），让一个小型学生 ViT 通过注意力机制学习一个预训练 CNN 教师网络的决策边界。在仅使用 ImageNet-1K（1.2M 图像）训练的条件下，DeiT 达到了 83.1% Top-1 准确率，比原始 ViT 高出近 4 个百分点，证明通过 知识蒸馏可以显著弥补 ViT 归纳偏置的缺失，使其在中等规模数据集上也能获得有竞争力的性能。 Swin Transformer（Liu et al., 2021）从架构层面重构了 ViT 的注意力模式。它用移位窗口注意力（Shifted Window Attention）替代全局自注意力：每个注意力头仅在 7 × 7 的局部窗口内计算，相邻层之间通过窗口偏移实现跨窗口信息流 动。这一设计将自注意力复杂度从 O(n ) 降至 O(n)，同时保留了 CNN 的局部性和层次化特征。Swin 还引入了 Patch Merging 层，逐层将空间分辨率减半、通道数加倍，形成类似 CNN 的特征金字塔。Swin-L 在 ImageNet 上达到 87.3% Top-1 准确率，并在 COCO 目标检测（58.7 AP）和 ADE20K 语义分割（52.4 mIoU）等密集预测任务上全面超越同等计 算量的 CNN 基线。 DeiT 和 Swin 的意义在于将 ViT 从“需要 3 亿张图片才能工作”的学术验证推向了实际可用的视觉基础架构。Swin 的层 次化设计尤其重要——它证明了在保持 Transformer 全局建模能力的同时引入局部性和多尺度特征，是视觉 Transformer 走向生产部署的关键路径。后续的 VLM 架构（如 BLIP-2 使用的 ViT-G、LLaVA 使用的 CLIP ViT-L）在编码器选型时， Swin 的层次化思想直接影响了 AnyRes 等多分辨率编码策略的设计。
14.2 VLM 架构演进
Transformer 的统一序列处理能力不仅适用于单一模态，更为多模态融合提供了天然的架构基础。文本、图像、音频等异 构模态经过各自的编码器转化为 token 序列后，可以在同一个 Transformer 中进行跨模态交互。视觉语言模型（Vision- Language Model, VLM）是这一方向最具代表性的研究领域。本节系统梳理 VLM 架构从双塔对比学习到原生多模态的完 整演进路径。
14.2.1 基础架构
- CLIP 双塔对比学习 多模态 Transformer 的核心挑战在于：不同模态的信号在原始空间中缺乏可比的度量尺度。文本 token 是离散的符号， 图像区域是连续的像素块，两者在语义空间中存在天然的鸿沟（Semantic Gap）。统一架构的设计目标是找到一个共享的 表示空间，使得语义相近的图文对在该空间中彼此靠近。 实现这一目标通常涉及三个组件： •模态编码器：独立的文本编码器（如 BERT 或 GPT 的 Transformer 层）和图像编码器（如 ViT 或 CNN 特征提取器） •融合模块：跨模态 Transformer 层，通过交叉注意力（Cross-Attention）或共同自注意力（Co-Self-Attention）实现 模态间信息流动 •任务头：根据下游任务（分类、检索、生成）设计输出层 score(ximage , xtext ) = sim (fθI (ximage ), fθT (xtext ))
其中 f 和 f 分别为图像和文本的编码函数，sim 为余弦相似度或点积。训练目标是在大规模图文对数据上最大化匹配 对的相似度，最小化不匹配对的相似度。 θI θT CLIP（Contrastive Language-Image Pre-training, Radford et al., 2021）是多模态预训练的里程碑工作。它的架构是经 典的双塔（Dual Encoder）设计：图像塔（ViT 或 ResNet）和文本塔（Transformer）独立编码各自的输入，在共享的 嵌入空间中通过对比损失（InfoNCE Loss）对齐。 CLIP 的训练数据规模是以往视觉语言模型无法比拟的——4 亿图文对从互联网上自动爬取，无需人工标注。对比学习的目 标函数为： ∑ [log ] B 1 exp(sii /τ ) exp(sii /τ ) LCLIP = − + log 2B i=1 ∑j exp(sij /τ ) ∑j exp(sji /τ ) 其中 s 是第 i 张图像与第 j 条文本的余弦相似度，τ 是可学习的温度参数，B 是 batch size。第一项是图像到文本的分类 损失，第二项是文本到图像的分类损失，两者共同驱动嵌入空间的双向对齐。 ij CLIP 的能力之一是零样本（Zero-shot）迁移：在训练中从未见过的分类任务上，只需将类别名转换为文本描述（如 “a photo of a cat”），模型即可直接进行分类而不需要任何微调。这证明了 Transformer 架构在跨模态语义对齐上的强大泛 化能力。 2) 多模态融合策略 双塔架构（CLIP 风格）的优势在于检索效率，图像和文本可以离线预先编码，在线检索时只需计算余弦相似度，复杂度 为 O(1)。但双塔的局限在于模态间的交互发生在最终点积层而非更深的表示层，限制了细粒度推理能力。 针对这一局限，研究者提出了多种深度融合策略： 融合策略 代表模型 特点 双塔（Dual Encoder） CLIP 独立编码，高效检索，弱于细粒度对齐 单塔（Single Encoder） VisualBERT 图文 token 拼接后统一编码，强交互但计算量大 融合策略 代表模型 特点 交叉注意力（Cross-Attention） ViLBERT 独立编码器 + 交叉注意力层，平衡效率与交互 前缀融合（Prefix Fusion） BLIP-2 用 Q-Former 压缩图像特征为前缀 token，喂入 LLM 表14-1 多模态融合策略对比 BLIP-2 的前缀融合策略值得关注：它在冻结的 ViT 和冻结的大语言模型（LLM）之间插入一个轻量的 Q-Former （Querying Transformer），将视觉特征压缩为固定数量的查询 token 作为 LLM 的前缀。这种设计在计算成本、训练稳 定性和模型性能之间取得了较好的平衡。 3) 视觉语言预训练代表 从 2019 年到 2024 年，视觉语言预训练领域经历了快速迭代。以下按发展阶段列出代表性工作： •ViLBERT / LXMERT (2019)：引入交叉注意力机制处理图文融合，在 VQA（视觉问答）和 NLVR（自然语言视觉推理） 上建立基准 •CLIP (2021)：4 亿图文对预训练，首次展示跨模态零样本泛化的巨大潜力 •DALL-E (2021)：将 VQ-VAE 与自回归 Transformer 结合，开创文生图方向 •BLIP-2 (2023)：Q-Former 桥接冻结的 ViT 和 LLM，参数高效且灵活 •LLaVA (2023)：将视觉特征直接投影为 LLM 的 token，架构极简但效果强劲 Dual Encoder (CLIP) Text Encoder Text Embedding Image Encoder Image Embedding Contrastive Loss Evolution Prefix Fusion (BLIP-2) Frozen ViT Q-Former Frozen LLM Text Prompt 图14-2 多模态融合策略的演进 多模态 Transformer 的发展趋势是从严格分离的编码器走向更深的模态融合，从固定架构走向模块化组合（如 BLIP-2 允 许插入不同的 ViT 或 LLM）。这一趋势与 NLP 中从 BERT 到 GPT 再到 LLaMA 的演进路径平行，硬件和数据的增长驱动了 架构的简化而非复杂化。
14.2.2 架构设计
- ViT + LLM 管道架构 2023-2024 年间，LLaVA 范式成为 VLM 的主导架构。其基本公式为：
HV = ViT(I),
HP = Projector(HV ),
p(y∣I, T) = LLM(HP ⊕ Embed(T))VLM 的架构设计是多模态模型研究的核心议题。VLM 需要在视觉编码器、对齐模块、语言解码器的组合空间中寻找最优 方案，既保证视觉理解的精度，又控制计算开销，还要兼顾训练与推理的效率。 设计空间包含三个关键决策： •视觉编码器选择：CLIP ViT-L/14（Radford et al. 2021）是最广泛使用的选择。后续工作探索了 SigLIP（Zhai et al. 2023）、DFN（Fang et al. 2023）、InternViT 等更强编码器 •投影器设计：最简单的线性投影（Linear Projector）H = H W 将视觉特征维度映射到 LLM 嵌入维度。LLaVA-1.5 采用 2 层 MLP（H = σ(H W )W ），实验表明略优于单层线性投影 P V P P V 1 2 •LLM 选择：从 LLaMA-2-7B 到 Vicuna-33B，LLaVA 系列验证了更强的 LLM 骨干能带来持续的性能提升。LLaVA-1.6 （2024）使用 LLaMA-3-8B 作为语言骨干，在多项基准上显著优于 LLaVA-1.5（Vicuna-13B） Input Image Visual Encoder H_V ∈ R^(N×d_v) Projector H_P ∈ R^(N×d_lm) ViT (CLIP/SigLIP) Visual Features MLP Projector aligned visual tokens Concatenation LLM Decoder Output Text LLaMA / Vicuna Input Text Token Embedding T ∈ R^(M×d_lm) text tokens 图14-3 LLaVA 范式 VLM 的典型架构 管道架构的优劣分析： 优势 劣势 复用成熟预训练组件，训练高效 视觉编码器与 LLM 独立训练，表征对齐不充分 模块化设计，易于替换组件 投影器信息瓶颈：从 d 维压缩到 d 维丢失细节 v lm 两阶段训练（对齐 + 微调）稳定 不支持视觉内容生成（仅文本输出） 开源生态成熟（LLaVA、Qwen-VL） 高分辨率图像产生大量视觉 token 表14-2 管道式框架的优势与劣势 2) 对齐模块设计 连接视觉编码器与 LLM 的对齐模块是 VLM 架构设计中最活跃的研究方向之一。三种主流设计如下： •MLP 投影器（MLP Projector）：最简设计，1-2 层 MLP。计算量 O(N ⋅ d ⋅ d )。LLaVA 系列、MobileVLM 使用。优 势：极简、快速；劣势：表达能力有限 v lm •Q-Former（Querying Transformer, Li et al. 2023, BLIP-2）：使用 BERT 风格的 Transformer 编码器，以一组可学习 的 Query 向量 Q ∈ R 交叉关注（Cross-Attend）视觉特征： L×d Q′ = CrossAttn(Q, HV , HV ) Q′′ = SelfAttn(Q′ ) HP = FFN(Q′′ ) L 个可学习 Query 从视觉特征序列中提取最相关的信息。BLIP-2 使用 L = 32 个 Query，将视觉 token 从 257 压缩至 32。Q-Former 在 BLIP-2 的两阶段训练中扮演双重角色：第一阶段与冻结的图像编码器做图文匹配（ITM）和图文对比 （ITC）预训练，第二阶段将提取的特征传递给冻结的 LLM •Perceiver Resampler（Jaegle et al. 2021, Flamingo/Alayrac et al. 2022）：在 Q-Former 基础上进一步简化。使用 固定的可学习 latent 向量作为 Query，通过交替的交叉注意力和自注意力层迭代地感知（Perceive）视觉特征： Z(0) = LearnedLatents ∈ RL×d Z(l+1) = SelfAttn(Z(l) ) + CrossAttn(Z(l) , HV ) Perceiver 的 latent 数量 L 不随输入图像分辨率变化，这是其相比直接拼接视觉 token 的核心优势。Flamingo 使用 Perceiver Resampler 处理视频（多帧图像），L = 64 个 latent 向量即可捕获视频的视觉内容 对齐模块 参数量 视觉压缩 代表工作 适用场景 MLP Projector 最小（~5M） 无压缩 LLaVA-1.5 单图像、低分辨率 Q-Former 中等（~100M） N → L 压缩 BLIP-2, InstructBLIP 多图像、视频帧 Perceiver Resampler 中等（~80M） N → L 压缩 Flamingo, Qwen-VL 视频、多帧 表14-3 视觉对齐模块对比 3) 原生多模态架构 GPT-4o（OpenAI 2024）和 Gemini 2.0（Google 2024）代表了一种根本不同的设计哲学：取消独立的视觉编码器，让 视觉和文本 token 在同一 Transformer 架构内统一处理。其核心思想是视觉 token 和文本 token 都是「词元」，应当共享 同一个表征空间和注意力机制。 原生多模态架构的关键技术包括： 视觉 Tokenizer（Visual Tokenizer）将图像或视频帧离散化为视觉 token 序列。目前有两种主流方案： •VQ-VAE 离散编码：参考 DALL-E（Ramesh et al. 2021）的图像 tokenization 方案，使用 VQ-VAE 将图像编码为离散 token，与文本 token 统一处理。Chameleon（Meta 2024）将图像压缩至 1024 个离散 token，直接输入 Transformer 作为自回归生成的目标 •连续特征编码：使用轻量级卷积网络（而非完整 ViT）将图像编码为连续特征向量，直接作为 Transformer 的输入。优 势在于避免 VQ-VAE 的离散化信息损失，但需要在 Transformer 内部处理连续-离散混合 token 统一的训练目标（Unified Training Objective）：原生多模态模型使用一致的训练目标，对文本 token 使用 next-token prediction loss，对视觉 token 同样使用自回归重建损失： Lunified = − ∑ log p(xt ∣x<t ; θ) t 其中 x 可以是文本 token、视觉 token 或音频 token。这一设计使模型能够自然地进行跨模态生成：“输入图像，输出文 本描述”和“输入文本，输出图像”使用完全相同的计算通路。 t Chameleon 的架构设计（Meta 2024）是最早公开的原生多模态架构之一。其在 LLaMA 架构基础上集成图像 tokenization，证明了单一 Transformer 可以联合建模文本和图像的自回归分布。Chameleon-34B 展示了图像描述、文 本→图像生成、多模态对话等能力，性能与专用模型相当。 Native Multimodal (GPT-4o / Chameleon) Pipeline VLM (LLaVA) Visual Tokenizer ViT Visual Encoder Projector Image VQ-VAE / Lightweight enco Image Independent module Alignment module ding Unified Transformer Autoregressive decoding LLM Decoder Homogeneous processing Text / Image / Audio Text-only output of visual+text tokens Text Token Embedding Text Token Embedding 图14-4 管道式 VLM 与原生多模态架构的对比 4) 早融合架构 早融合（Early Fusion）架构在输入处理的早期就将不同模态的特征融合，不再等待视觉特征被翻译成 LLM 可理解的 token，而是从像素级或浅层特征级开始联合建模。早融合的优势在于保留更多低层视觉细节，对需要像素级理解的任务 （如布局检测、细粒度识别）有效。 FuseLIP（2026）代表了一个重要的早融合方向。FuseLIP 在 ViT 的中间层就已开始与 LLM 的交叉注意力交互：视觉编码 器的每一层 Transformer 除了自注意力外，还引入对 LLM 隐藏状态的交叉注意力。这使得视觉表征的形成过程直接受语 言上下文的引导： (l) (l−1) (l−1) (l−1) HV = SelfAttnV (HV ) + CrossAttn(HV , HLM ) (l) (l−1) (l−1) (l−1) HLM = SelfAttnLM (HLM ) + CrossAttn(HLM , HV ) 这种双向交叉注意力机制使视觉和语言在每一层深度上相互塑造：视觉特征的形成考虑了语言上下文，语言特征的更新也 被视觉信息引导。
14.2.3 评估与方法论
- 推理期效率优化 管道式 VLM 在推理期面临视觉 token 爆炸、多轮重复编码、多源输入等工程挑战。2026 年的前沿工作从三个方向突破： 传统 VLM 在多轮视觉对话中每一轮都会重新编码整个图像，即使对话焦点只在一小块区域。Stateful Visual Encoders （2026）引入了有状态视觉编码——在跨轮对话中保持视觉状态的增量更新。核心机制为：首轮完整编码产生全量视觉特 征 H 和视觉状态 S ；后续轮次根据新指令 I 有选择地更新相关区域：H = Update(H , S , I )；视觉状态 (0) (0) (t) (t) (t−1) (t−1) (t) S 通过信息瓶颈压缩，仅保留对后续交互有用的高层语义。Stateful VE 将多轮对话的平均推理延迟降低约 80%（从每 V V V (t) 轮完整编码 1024 token 降至平均 200 token 的增量更新），同时保持 98% 的响应质量。 PARCEL（Pool-Anchored Resampling, Google 2026）提出了一种高效的视觉 token 压缩方法，通过可学习的锚点引导 自适应重采样：先用 K-Means 聚类得到 L 个锚点 A ∈ R ，再通过软分配聚合： L×d exp(−∥hi − aj ∥2 /τ ) ∑i wij hi wij = , a′j =
∑k exp(−∥hi − ak ∥2 /τ ) ∑i wij PARCEL 的复杂度为 O(N ⋅ L ⋅ d)，但避免了 softmax 全对全注意力，实际速度比 Perceiver Resampler 快 3-5 倍。在 4K 图像场景中将视觉 token 从约 4000 压缩至 128，MMBench 精度保持 97%。 X-Stream（2026）解决了 MLLM 同时处理多个视觉输入流的架构瓶颈。其核心创新是流感知交叉注意力（Stream- Aware Cross-Attention）和流鉴别嵌入（Stream Discriminative Embedding）： S S QK⊤ Hout = Softmax ( ) V, K = ⨁ Ks , V = ⨁ Vs dk s=1 s=1 其中 S 为视觉流数量，⊕ 表示键值拼接。X-Stream 在多摄像头活动识别和多模态医学诊断上分别取得 15% 和 12% 的相 对提升。 2) 架构比较与评测 Pipeline VLM Native Multimodal Early Fusion Multi-stream multiplexing Stateful Visual Anchor Resampling
LLaVA-1.6 (2024) GPT-4o (2024) FuseLIP (2026) X-Stream (2026) Stateful VE (2026) PARCEL (2026)
ViT -> MLP -> LLM Unified Transformer Intra-layer Cross-Attention Stream-aware Cross-Atten Incremental update K-Means Anchors
+ Token compression Visual+text tokens Deep feature interaction tion Multi-turn dialog optimizat O(N·L·d) Linear resampl
Multi-visual input ion ing图14-5 VLM 架构全景演化 架构范式 代表模型 视觉编码方式 视觉 token 数 优势 劣势 ViT + MLP 投 LLaVA-1.5/1.6 独立 ViT + 2层 576-2880 简单高效，开源生态 不生成视觉内容 影 MLP 好 Q-Former BLIP-2, ViT + Q-Former 32 (固定) 强压缩，训练两阶段 压缩损失细节 InstructBLIP Perceiver Flamingo, Qwen- ViT + Perceiver 64 (固定) 视频天然支持 交叉注意力开销大 VL 原生多模态 GPT-4o, Chameleon VQ-VAE / 轻量编 1024 码 统一表征，跨模态生 训练成本极高 成 架构范式 代表模型 视觉编码方式 视觉 token 数 优势 劣势 早融合 FuseLIP (2026) 层内交叉注意力 可变 深度特征交互 计算复杂度高 多流复用 X-Stream (2026) 流感知交叉注意力 可变×流数 多源视觉处理 流数增加线性放大计 算 有状态 VE Stateful VE (2026) 增量状态更新 动态（200-1000） 多轮对话高效 状态管理复杂 PARCEL 重采 PARCEL (2026) K-Means 锚点聚 128 (固定) 线性重采样，速度 3- 锚点数量需调参 样 合 5x 表14-4 VLM 架构范式综合对比 在 MMBench 上的性能对比（2025 年数据）： 模型 MMBench MME (P+C) MM-Vet OCRBench
LLaVA-1.6 (LLaMA-3-8B) 78.4 1850 52.1 —
Qwen2.5-VL-7B 82.3 2021 58.6 871
GPT-4o 86.1 2210 69.4 952Gemini 2.0 Flash 84.8 2158 67.2 910 DeepSeek-Janus-Pro 79.2 1930 55.8 845 表14-5 主流 VLM 基准分数对比 3) 架构设计方法论 VLM 架构设计的演化揭示了以下核心原则： •视觉编码器与 LLM 的最佳间距：管道式架构中，视觉编码器与 LLM 的距离（通过投影层数量、Q-Former 的 Transformer 深度）决定了视觉信息的保真度。距离太近（单层 MLP）导致对齐不足，距离太远（深层 Q-Former）引 入信息瓶颈。最优间距取决于视觉编码器的表示能力，编码器越强（如 InternViT-6B），所需的对齐模块可以越简单 •视觉 token 数量的帕累托前沿：更多视觉 token 带来更高精度但也带来更多计算。PARCEL 和 Perceiver Resampler 分别从两端逼近这个帕累托前沿：PARCEL 用更少的计算保持精度，Perceiver 用固定的少量 token 尽可能保留信息 •统一 vs 分离的永恒张力：原生多模态（统一）在理论上更优雅，但训练成本、工程复杂度远高于管道式（分离）。 2024-2026 年的趋势是部分统一，在保持模块化组件的同时，允许跨模态注意力在更高层融合（如 FuseLIP 的早融合 设计）
14.3 视觉编码前沿
视觉编码器（Visual Encoder）是多模态模型的眼睛——其编码质量直接决定了模型能否准确看到并理解视觉世界。从 2021 年 CLIP 的开创性工作到 2026 年的 AdaCodec，视觉编码器经历了从“固定分辨率、对比学习”到“动态分辨率、 预测编码”的深刻演化。本节追踪这条技术路线上的关键里程碑和前沿方法。
14.3.1 视觉编码器的演进路线
DFN DINOv2 Dynamic Resolution ViT AdaCodec Apple 2023 Meta 2023 2024-2025 2026 Data filtering Self-supervised AnyRes / FlexRes Predictive visual encoding SigLIP Google 2023 Sigmoid loss CLIP ViT SigLIP 2 OpenAI 2021 Google 2024 Contrastive Learning NaFlex multi-resolution EVA-CLIP BAAI 2023 Stronger pre-training 图14-6 视觉编码器的技术演进路线 CLIP（Contrastive Language-Image Pre-training, Radford et al. 2021）奠定了视觉-语言联合表征学习的基础。其核心 是对比损失： ∑ [log ] eτ ⋅sim(vi ,ti ) eτ ⋅sim(ti ,vi ) N LCLIP = − + log 2N i=1 ∑j eτ ⋅sim(vi ,tj ) ∑j eτ ⋅sim(ti ,vj ) 在 400M 图文对上训练，CLIP ViT-L/14 成为后续几乎所有 VLM 的默认视觉编码器。CLIP 的关键贡献在于证明了对比学习 可以将视觉和文本映射到语义对齐的同一空间——这使得后续的 LLaVA 仅需一个简单的 MLP 投影器即可将视觉特征连接 至 LLM。 SigLIP（Sigmoid Loss for Language-Image Pre-training, Zhai et al. 2023）是 CLIP 的最重要的后继改进。其将对比损 失替换为 Sigmoid 二元交叉熵： LSigLIP = − ∑ [yij log σ(τ ⋅ vi⊤ tj ) + (1 − yij ) log(1 − σ(τ ⋅ vi⊤ tj ))] N 2 i,j 其中 y = 1 当且仅当 i = j（正对），否则为 0。SigLIP 相比 CLIP 的三个关键优势： ij •解耦批大小与训练稳定性：CLIP 的 softmax 归一化依赖批内所有样本，小批大小导致对比学习不稳定。SigLIP 的每个 样本对独立计算损失，在小批大小下也能稳定训练 •更高效的内存使用：SigLIP 不需要在批内构造完整的 N × N 相似度矩阵进行 softmax，内存友好 •更好的表征质量：在 ImageNet 零样本分类、检索等任务上全面超越同规模的 CLIP 模型 DFN（Data Filtering Network, Fang et al. 2023, Apple）将关注点从损失函数转向数据质量。DFN 的核心理念是用模型 本身过滤训练数据：训练一个小型模型对大规模图文对数据打分，仅保留高质量样本用于最终训练。DFN-ViT 在同参数规 模下比 CLIP 提升 3-5 个百分点的零样本准确率，证明了数据质量优先于模型规模在视觉编码中的有效性。
14.3.2 缩放定律与视觉编码
视觉编码器的缩放行为遵循以下经验规律： •参数-数据联合缩放：视觉编码器的性能 E 与参数量 P 和训练数据量 D 之间存在幂律关系： V E(PV , D) ≈ E∞ − α ⋅ PV−β − γ ⋅ D−δ Google 2024 年的实验（SigLIP 2 论文）显示，对于 ImageNet 零样本分类，β ≈ 0.3，δ ≈ 0.2，即参数量对性能的影 响略大于数据量。但在 OCR 和细粒度识别任务上，δ > β，数据量的作用超过参数量 •编码器-LLM 联合缩放：视觉编码器不是越大越好。Wei et al.（2024）的缩放实验发现，当视觉编码器参数量超过 LLM 的 10-15% 后，继续增大编码器带来的边际收益递减，因为 LLM 本身成为跨模态理解的信息瓶颈 •最优编码器大小经验公式（基于 LLaVA 架构的实验）： opt 0.7 PV ≈ k ⋅ PLM 其中 k 在 0.5-2.0 之间，取决于具体任务类型（细粒度理解任务需要更大的 k）
14.3.3 高分辨率视觉编码策略
标准 ViT 将输入图像调整为固定分辨率（如 224 × 224 或 336 × 336），这在文档理解、图表分析、医学影像等需要细粒度 视觉信息的场景中成为瓶颈。高分辨率策略是 2024-2025 年视觉编码的核心研究方向。 AnyRes（Any Resolution）（LLaVA-1.6, 2024）将高分辨率图像切分为多个与 ViT 训练分辨率匹配的子图（Tiles）： (1) (2) (K) IHR → {Iglobal , Itile , Itile , …, Itile } 每个子图独立经 ViT 编码，最后将所有子图的视觉 token 拼接。LLaVA-1.6 支持最多 6 个子图（3 × 2 网格）加全局缩略 图，总计处理分辨率可达 1344 × 1344。 AnyRes 的视觉 token 总数：N = (K + 1) × N ，其中 N 为 ViT 每张图产生的 token 数。对于 CLIP ViT-L/14 tokens ViT ViT （patch size 14），N = 17 × 17 + 1 = 290（含 CLS token），K = 6 时总计约 2030 个视觉 token。 ViT High-resolution image e.g. 1344×1344 Resize to fit grid size Global thumbnail Sub-image Tile 1 Sub-image Tile 2 Sub-image Tile 3 ... Sub-image Tile K 336×336 336×336 336×336 336×336 336×336 ViT Encoding ViT Encoding ViT Encoding ViT Encoding ViT Encoding Visual Token Concatenatio n Cat(total, tile_1, ..., tile_K) 图14-7 AnyRes 高分辨率编码策略 动态分块（Dynamic Patching）（Qwen2.5-VL, 2025）在 AnyRes 基础上引入了自适应分块机制。不再使用固定网格，而 是根据图像内容动态决定分块策略： •对文档、图表等内容密集型图像，使用更密集的分块（更多 tiles） •对自然场景等语义信息集中的图像，使用稀疏分块（更少 tiles） •分块边界与图像的语义边界对齐，避免将关键对象分割在不同 tile 中 Qwen2.5-VL 的动态分块使平均视觉 token 数降低了约 30%，同时在 OCRBench 上保持了性能——实现了按需分配计算 预算。 FlexRes 与 NaFlex（SigLIP 2, Google 2024）是 SigLIP 2 引入的训练策略：NaFlex（Naive Flexible Resolution）在训练 阶段随机改变输入图像的分辨率和宽高比，使视觉编码器学会处理各种分辨率。这种方法消除了固定分辨率训练 → 自定 义分辨率推理之间的分布偏移（Distribution Shift）。
14.3.4 AdaCodec 预测编码
AdaCodec（Adaptive Predictive Visual Codec, 2026）将视觉编码的范式从静态压缩推向预测编码——借鉴人类视觉系 统中预测编码（Predictive Coding）的理论，视觉感知是对外部世界的预测修正过程。 AdaCodec 的核心架构： •预测模块（Predictor）：基于前一时刻的视觉上下文预测当前帧/区域的视觉内容 H^ (t) •残差编码器（Residual Encoder）：仅编码预测残差 R = H − H^ ，而非完整视觉特征 V (t) (t) (t) •自适应码率控制（Adaptive Rate Control）：根据残差的大小动态分配编码比特，大残差区域（运动剧烈、新对象出 V V 现）获得更多比特，小残差区域（背景、静止）压缩更激进 (t) (t) ^ HV = Decode(Encode(HV − Predict(HV ))) + H (<t) (t) V AdaCodec 在视频理解上的核心优势在于视频的帧间冗余，相邻帧的视觉特征高度相关，预测残差的熵远低于原始特征。 在 Ego4D 和 ActivityNet 上的实验表明，AdaCodec 在相同视觉编码质量下将视频 token 数降低 5-8 倍，相比逐帧编码 （Per-frame Encoding）获得显著的压缩效率。
14.3.5 预训练范式之争
2026 年的一个重要研究问题是：哪种预训练范式更能服务于空间智能（Spatial Intelligence）？ “What Pre-training Paradigm Better Serves Spatial Intelligence?”（2026）系统比较了两种预训练路径： 维度 视觉-语言（VL）预训练 视频生成预训练 核心任务 图文匹配 + 对比学习 视频帧预测 + 生成 空间信息学习 隐式（从静态图像中推断） 显式（从帧间运动中学到深度、遮挡、3D 关系） 训练数据 图文对（400M-5B） 视频数据（10M-1B 小时） 下游空间任务 2D 空间推理较好 3D 空间推理、深度估计、物理交互显著更强 计算开销 较低 较高（时序维度放大） 表14-6 视觉语言与视频生成预训练对比 该研究的核心发现：对于涉及 3D 空间理解、物理交互推理和动态场景理解的任务，视频生成预训练显著优于纯视觉-语言 预训练——在 3D 空间推理任务（如 CLEVR-3D, Physion）上平均领先 15-25%。这解释了为何 OpenAI 和 Google 同时押 注 Sora 和 Veo：视频生成不仅创造了一个新的产品类别，其学到的世界表征本身就是强空间推理的基础。
14.3.6 MiMo-VL 混合动量编码
MiMo-VL（Mixed-Momentum Vision-Language Learning, 2026）提出了一种创新训练策略，同时利用 CLIP 的静态对比 表征和视频的时序运动表征。 MiMo-VL 维护两个视觉编码器： •静态编码器（Static Encoder, SE）：EMA（Exponential Moving Average）更新的教师网络，提供稳定的视觉语义 •动态编码器（Dynamic Encoder, DE）：标准梯度更新的学生网络，捕获时序运动信息 训练目标同时包含： (t) (t+1) LMiMo = LCLIP (vDE , t) + λ1 ⋅ Ldistill (vDE , vSE ) + λ2 ⋅ Ltemporal (vDE , vDE ) 其中 L 确保动态编码器不偏离静态语义，L 促使动态编码器学习帧间时序关系。MiMo-VL 在视频 QA 和时序动 distill temporal 作定位上取得了 SOTA，同时保持了静态图像理解的竞争力。
14.3.7 编码器性能与训练策略
如表14-7 汇总主流视觉编码器的关键指标，表14-8 对比各类训练策略： 编码器 年份 参数量 训练数据 ImageNet Zero-Shot 训练范式 分辨率 CLIP ViT-L/14 2021 428M 400M 75.5% 对比学习 224² EVA-CLIP ViT-G 2023 1.0B 400M + LAION-2B 84.1% 对比学习 + 蒸馏 224² SigLIP ViT-L 2023 428M 400M 78.2% Sigmoid 损失 224² DFN ViT-H 2023 632M DFN 过滤 2B 83.0% 数据过滤 + CLIP 224² DINOv2 ViT-G 2023 1.1B 142M (自监督) — 自监督 224² InternViT-6B 2024 6B Internal (600B+) 88.2% 生成+对比混合 224² SigLIP 2 ViT-L 2024 428M 2B (NaFlex) 80.1% NaFlex 多分辨率 可变 Qwen-ViT (AnyRes) 2025 ~1.5B 未公开 — 动态分块 可变 表14-7 主流视觉编码器性能对比 训练策略 代表方法 数据需求 计算开销 表征特点 对比学习 CLIP, SigLIP 极高（100M+ 图文对） 高（双塔编码） 语义对齐强，细粒度弱 自监督 DINOv2 中（纯图像） 中（单塔） 结构化好，语义弱 生成式 MAE, MIM 中（纯图像） 中 像素级细节好 对比 + 生成混合 InternViT 极高 极高 综合最优 数据驱动过滤 DFN 极高 + 过滤 中 数据效率高 预测编码 AdaCodec 高（视频） 中高 时序压缩强 混合动量 MiMo-VL 高（视频 + 图像） 中高 动静结合 表14-8 视觉编码器训练策略对比 从两张表的交叉对比可以看出，训练范式决定了表征特性：对比学习擅长语义对齐但细粒度弱，自监督学到的结构化好但 语义弱，MAE 擅长像素级细节，InternViT 的混合训练综合最优。2025 年的趋势是多范式联合训练，没有一种单范式在 所有维度上最优。
14.3.8 下游影响与前沿方向
视觉编码器的选择对下游 MLLM 性能的影响并非均匀，不同任务对不同编码器特性敏感： •OCR 和文档理解：对高分辨率和细粒度特征需求最大。AnyRes 类策略在此类任务上提升最显著（OCRBench 提升可 达 20-30 分） •自然场景理解：受益于语义丰富的编码器（如 InternViT、DINOv2），分辨率需求相对较低 •视觉推理：编码器的逻辑一致性（同一对象在不同视角下的表征一致性）比分辨率更重要。DINOv2 在此维度表现优 秀：其自监督训练学到的是对象级别的结构化表征 •视频理解：视频编码器的时序敏感性比静态视觉质量更关键。AdaCodec 和 MiMo-VL 专为此场景设计 视觉编码器的演化揭示了两条核心设计原则：一是表征分辨率是可分配的计算预算，AnyRes 和动态分块证明，模型应当 根据内容复杂度动态分配视觉编码计算，这与 MoE 的条件计算异曲同工；二是视频编码的压缩红利，AdaCodec 的预测 编码已将视觉 token 降低 5-8 倍，是视频 MLLM 走向生产级的关键突破。 视觉编码领域的开放问题包括： •视觉编码的 Chinchilla 最优：视觉编码器、视觉 token 数量和 LLM 参数量之间的三体比例关系尚未被系统研究 •事件驱动视觉编码：借鉴生物视觉系统的选择性注意机制动态分配编码资源 •跨编码器知识蒸馏：将大型通用视觉编码器的知识蒸馏至小型专用编码器以降低部署成本 •3D 视觉编码器：从 2D 向处理点云、深度图、多视角图像的真正 3D 编码演进
14.4 多模态训练方法论
多模态模型的能力上限由训练方法决定。与纯文本预训练相比，多模态训练必须回答三个问题：不同模态如何在表示空间 对齐、如何设计渐进式训练阶段避免崩溃、如何在指令与偏好层面实现跨模态对齐。本节以 LLaVA、BLIP-2、Flamingo 等代表工作为线索，梳理从模态对齐到原生多模态的完整方法论谱系。
14.4.1 模态对齐的目标与度量
模态对齐（Modality Alignment）的目标是让语义相近的图文对在共享表示空间中彼此靠近。CLIP 的对比学习是最通用 的对齐手段：图像塔与文本塔分别编码，用 InfoNCE 损失拉近匹配对、推远不匹配对。对齐质量通常以图文检索指标衡 量，如 COCO 数据集上的 R@1 召回率——给定文本检索图像，或给定图像检索文本。 对比对齐的局限在于只约束最终嵌入的相似度，不保证细粒度语义的一致性。两个方向弥补了这一缺陷：一是加大 batch 与困难负样本（Hard Negative），迫使模型区分语义近似的负对；二是引入生成式对齐，如 BLIP 用图文匹配与生成损失 辅助对比学习，使对齐从嵌入距离深化为语义理解。度量上，检索指标之外还需人工评估指令遵循与视觉问答质量，单一 指标无法刻画多模态对齐的复杂内涵。
14.4.2 连接器的训练影响
连接模块（Connector）的选择不仅影响架构效率，更直接决定训练策略的形态。MLP Projector、Q-Former 和 Perceiver Resampler 三种设计的核心差异在于解锁策略：MLP Projector 可与 LLM 联合端到端训练，训练目标单一且梯 度流直接；Q-Former 和 Perceiver 因引入额外的注意力层，必须分阶段训练以避免梯度冲突，BLIP-2 先冻结 ViT 与 LLM 训练 Q-Former，再将其桥接到 LLM 训练解码目标。连接器的复杂度越高，训练阶段越多、数据需求越大，这一约束直接 塑造了多模态训练的渐进式范式。
14.4.3 渐进式训练
多模态训练直接端到端优化容易导致灾难性遗忘或训练不稳，渐进式（Progressive）训练将过程拆解为可控阶段。 LLaVA 的路线最具代表性：第一阶段冻结 ViT 与 LLM，仅训练 Projector，在图文对上学习把视觉特征映射进文本空间； 第二阶段解锁 LLM，用视觉指令数据（如 158K 条指令微调样本）联合微调。两阶段分离使每步目标单一，训练稳定且数 据需求大幅降低。 BLIP-2 的两阶段设计侧重表征学习：第一阶段在图文对上做视觉语言表征学习，让 Q-Former 学会提炼与文本匹配的图 像语义；第二阶段转为视觉到语言生成，将 Q-Former 桥接到 LLM 并训练解码目标。阶段间的数据规模相差数十倍，但 每一阶段的模型初始化都来自上一阶段，形成清晰的层级依赖。渐进式训练还延伸出预训练-指令微调-偏好对齐的三段式 流程，完整流程如图14-8 所示。 Frozen ViT + LLM Image-Text Pair Data Stage 1 Projector Pretraini Visual Instruction Data ng Stage 2 Instruction Tuning Multimodal Preference Dat a Stage 3 Preference Alignm ent 图14-8 多模态渐进式训练的三个阶段
14.4.4 图文交错预训练
LLaVA 等模型的图文对训练假设输入是一张图配一段文本，但真实互联网内容以交错形式存在——长文中穿插多张插图， 图片之间还有上下文关联。图文交错预训练（Interleaved Image-Text Pretraining）让模型从这种更自然的语料中学习： Flamingo 把多张图像按出现位置插入文本序列，用 Perceiver Resampler 逐图像压缩视觉特征，模型需要在长上下文中 联合理解图文关系。 交错训练带来的核心能力是上下文学习（In-context Learning）：模型看到示例图-示例说明-问题图-问题的序列后，可以 类比推理完成新的视觉任务，无需更新参数。KOSMOS 等统一生成模型则把图文交错数据作为纯序列预训练，进一步证 明了图片与文字同序列的统一性。交错预训练在数据清洗与位置对齐上比图文对更复杂，但获得的上下文理解能力是拼接 式图文对训练难以企及的。
14.4.5 跨模态 SFT 与 RLHF
指令微调（SFT）将预训练模型导向对话与任务遵循。跨模态 SFT 与文本 SFT 的差异在数据：LLaVA 用视觉指令数据 （图像-问题-答案三元组）微调，让模型学会根据图像内容回答开放式问题；LLaVA-1.5 进一步扩大数据规模并提升分辨 率，展示了多模态指令数据的尺度律。数据多样性直接决定模型是否看得懂并说得对，高质量的人工标注视觉指令尤为关 键。 偏好对齐层面，跨模态 RLHF 需要同时评估图文一致性。RLHF-V 等方案构建多模态偏好对——同一问题下给出正确与错 误答案，训练奖励模型判别图文是否匹配，再用 DPO 等离线算法优化策略。与文本 RLHF 相比，多模态偏好标注还需考 虑模型是否真的看到了图像这类幻觉问题，标注成本更高。原生多模态模型在这一点上具有优势：统一序列中的视觉 token 天然参与自注意力，幻觉发生的概率更低。
14.4.6 原生多模态训练
拼接式（Composite）方案在架构上把独立训练的视觉编码器、Connector 与 LLM 组合，训练时逐阶段解锁。其优点是 复用成熟组件、训练成本低，缺点是视觉信息经由 Connector 传递，存在信息瓶颈，且多个组件间的联合优化受限。 2023-2024 年的大多数 VLM 均属此类。 原生多模态（Native Multimodal）方案让单一 Transformer 直接消费所有模态的 token。Kimi K3（2026-07）是这一路 线的代表：一个 Transformer 同时理解文本、图像与视频，不需要独立视觉编码器，也不依赖额外的对齐损失，视觉 token 与文本 token 在统一序列中自然融合。原生方案消除了模态间的鸿沟，但要求从零训练大规模多模态语料，数据与 算力门槛极高。并非所有“多模态”大模型都走这条路线：DeepSeek-V4（2026-04）专注文本与 Agent 能力，未开源多 模态权重，不能与原生视觉模型混为一谈。两条路线的竞争本质上仍是复用成熟组件快速落地与为统一语义付出训练代价 的权衡，其演化方向与语音统一模型的讨论一致。
14.5 多模态推理与部署
多模态模型的推理成本与文本模型存在量级差异：一张图像经 ViT 编码后产生数百乃至上千个视觉 token，全部参与 LLM 的自注意力；视频与语音的 token 数量更是随帧率与码本线性增长。推理与部署的核心矛盾，是如何在信息不损失的前 提下压缩 token 数量、降低显存占用，并满足流式语音等低延迟场景的要求。本节从视觉 token 压缩出发，逐步展开动 态分辨率、流式推理、KV 缓存与 vLLM 服务化的完整工程图谱。
14.5.1 视觉 token 压缩
视觉 token 是推理开销的源头。以 LLaVA 为例，336×336 的输入经 ViT-L/14 编码后产生 576 个 patch token，是文本 prompt 的数十倍；若按原始 patch 粒度直接喂给 LLM，注意力计算与 KV 缓存都会线性膨胀。视觉 token 压缩（Vision Token Compression）的目标是用更少的 token 承载同等语义，主流手段有三类： •Token 合并：将相邻 patch 的 token 融合，如把 576 个 token 合并为 128 个，信息损失可控但计算减半以上 •Token 剪枝：依据注意力分数丢弃冗余 token，图像背景、重复纹理区域的 token 优先级低，可自适应保留关键区域 •架构级压缩：用 Q-Former、Perceiver 等 resampler 在编码端直接输出固定数量（如 32-128 个）token，从源头控制 序列长度 压缩带来的收益不止于首 token 延迟。视觉 token 压缩后 KV 缓存体积同步缩小，长会话与视频输入的显存压力显著缓 解，多模态服务的并发吞吐也随之提升。选择压缩策略需权衡质量损失与吞吐收益，工程上通常先用 resampler 控制上 限，再用剪枝在推理期动态调节。
14.5.2 动态分辨率与 Tiling
固定分辨率训练的多模态模型遇到高分辨率图像时面临两难：直接缩放损失细节，直接上采样则 token 数爆炸。动态分 辨率（Dynamic Resolution）方案允许模型按输入图像的宽高比选择最合适的视觉分辨率。LLaVA-NeXT 采用 Tiling 策 略：将大图按最佳宽高比切分为多个 Tile，每个 Tile 独立编码后与全局缩略图一起送入 LLM，从而在不压缩细节的前提 下覆盖任意长宽比的图像，其 token 与 KV 优化流程如图14-9 所示。 High-Res Image Tiling Splitting Multi-Tile ViT Encoding Vision Token Compression KV Cache Reuse LLM Inference Streaming Output 图14-9 多模态推理的 token 与 KV 优化流程 Tiling 使视觉 token 数随图像面积动态变化，一张 2K 图像可能产生数千个 token。工程上需要配套的优化： •将全局缩略图与局部 Tile 的 token 按固定模板排列，避免图像边界信息错乱 •对大量 Tile 并行编码后合并，减少预填充（Prefill）阶段的串行开销 •配合视觉 token 压缩手段，把图像更大带来的成本增量控制在可接受范围 动态分辨率因此成为部署系统的第一道成本闸门。
14.5.3 流式语音推理
语音交互对延迟敏感，端到端对话要求首 token 延迟在数百毫秒内。流式语音推理（Streaming Speech Inference）将 推理拆为两个层面：音频编码流式化与文本生成流式化。音频侧，Whisper 等模型可对音频块增量计算特征，编码器在收 到足够帧后即可开始产生中间表示，不必等待整句话结束；文本侧，LLM 按 token 流式吐出回复，边说边听，配合语音 合成实现拟人对话节奏。 流式语音推理的关键是块边界的正确切分。音频编码器依赖跨块的上下文信息，块切分不当会引入识别错误；LLM 则需 管理跨块的 KV 缓存与注意力掩码，确保新块不会污染已有上下文。工程上常用“半帧重叠”与“增量状态复用”降低切 分损失。对端到端语音模型，声学 token 的高速率进一步放大流式难度，需要把编码、解码与合成三段流水线化，让各 阶段并行推进——这使语音服务的延迟优化比纯文本推理复杂得多。
14.5.4 KV 缓存优化
KV 缓存是多模态长序列推理的显存大头。视觉 token 一旦生成，其 K/V 在后续解码中固定不变，适合复用：多轮对话中 相同图像反复出现时，可用前缀缓存（Prefix Caching）跳过重复计算；视频输入的帧间相似性也可用于 KV 共享。 FlashAttention 与 PagedAttention 从底层降低 KV 的内存碎片，前者减少中间读写，后者按页分配显存并支持动态增 长。 从系统视角看，多模态 KV 优化应结合两层手段： •模型层：视觉 token 压缩与 resampler 从源头减少 KV 条数，这是最有效的杠杆 •系统层：前缀缓存命中率、KV 量化与分页管理决定显存利用率 推理框架如 vLLM 已将这两层手段集成，把视觉 token 的 KV 与文本 token 统一纳入页式管理，使多模态服务的显存开销 可预测、可调度。
14.5.5 vLLM 多模态服务
vLLM 是当前部署多模态 LLM 的主流推理引擎。它对多模态的原生支持体现在三个层面： •统一的 token 表示：图像、音频经处理器编码后以占位符 token 形式进入 LLM，与文本共用 PagedAttention 的 KV 管 理 •OpenAI 兼容的请求接口：客户端以 image_url 或 audio 字段传多模态内容，服务端自动完成编码与解码 •连续批处理与流式输出：使高并发多模态请求的吞吐接近纯文本水平
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1")
resp = client.chat.completions.create(
model="llava",
messages=[{"role": "user", "content": [ {"type": "text", "text": "Describe the scene in this image"}, {"type": "image_url", "image_url": {"url": "data:image/png;base64,..."}}, ], }], max_tokens=128, stream=True, ) vLLM 多模态服务的部署决策围绕两个杠杆展开：处理器参数（ mm_processor_kwargs ）决定 token 数与分辨率上限， 直接影响显存与延迟；引擎的调度策略决定多请求间的显存竞争。实践中，先确定视觉 token 压缩与 Tiling 模板，再配 置前缀缓存与 KV 量化，最后以压力测试校准批大小与并发度。多模态推理的工程本质，就是把多模态推理方法论固化为 可配置、可观测的系统行为。
14.6 语音理解与生成
语音是人类最自然的交互方式，但 Transformer 处理的是离散 token 序列，而语音是连续的声学波形。语音理解的核心 任务，就是把声学信号转化为 Transformer 可以消费的形式——或者是中间特征序列，或者是离散的语音 token。与图像 不同，语音具有强时间性：同一句话在语速、口音、噪声环境下差异极大，这决定了语音理解模型必须在时间分辨率和语 义抽象之间做取舍。波形如何切分为帧、提取 log-mel 特征、以及语音如何 token 化为语义/声学离散码，不再赘述；本 节聚焦 Whisper 的编解码架构与语音-语言联合模型的演进。
14.6.1 Whisper 编解码架构
Whisper 是语音识别领域首个将 encoder-decoder Transformer 完整复用的模型，其 68 万小时多语言弱监督数据覆盖了 噪声、重口音和多种语言。编码器接收 log-mel 特征序列，解码器自回归地生成文本 token。这种特征进、文本出的结构 与机器翻译的 Transformer 完全同构，区别仅在于编码器的输入源。 Whisper 在解码器一侧引入了一组特殊 token，使单一模型可以同时承担多个任务。序列以 <|startoftranscript|> 开始，随后输出语言标记、任务标记（ transcribe 或 translate ）、时间戳标记，最后才是识别文本。模型规模和任 务可以按需组合——从 39M 参数的 tiny 到 1550M 参数的 large-v2，同一架构在不同规模上都能保持稳定的弱监督泛化， 其完整前向流程如图14-10 所示。 Text Tokens Transformer Decoder Transcript + Timestamps Waveform 16kHz STFT + Mel Filterbank Log-Mel 80 Channels Conv Downsampling ×2 Audio Tokens 1500/30s Transformer Encoder Cross Attention 图14-10 Whisper 的语音识别前向流程
14.6.2 语音-语言联合模型
Whisper 只能输出文本，无法利用 LLM 的世界知识直接回答关于音频内容的问题。语音-语言联合模型的目标是让同一个 Transformer 同时理解音频与文本。Qwen-Audio（2023）采用拼接式方案：音频经编码器与适配器（Adapter）映射 后，以 token 形式注入冻结或微调的 LLM，使模型可以完成音频描述、语音问答、声音事件识别等跨模态任务。 更彻底的做法是让语音 token 直接进入原生多模态 Transformer。Gemini 将音频波形经特征提取器转换为与文本同构的 token 序列，在统一的 Transformer 中与文本 token 共同参与自注意力，因此可以不加区分地理解图像配语音或视频配 字幕等组合输入。这一路线在 2026 年由 Kimi K3 推向极致——单一 Transformer 原生同时理解文本、图像与视频，不再 依赖独立的视觉编码器与对齐损失，语音作为音频模态同样共享该序列空间。 音频理解的另一条路径是级联式（Cascaded）流水线：先由 Whisper 一类模型完成语音转写，再将文本交给 LLM 推 理。级联方案工程成熟、调试直观，但会丢失语调、情感、说话人信息；端到端方案保真度高，却需要大规模多模态语 料。实际系统中两者常混合使用，例如对 ASR 转写结果做文本后处理，同时用音频分类模型补充情感标签。
14.6.3 语音生成与 TTS
文本到语音（Text-to-Speech, TTS）的目标是让模型读懂文本并说出流利自然的话。传统 TTS 由声学模型与声码器 （Vocoder）两级组成：声学模型预测梅尔频谱，声码器再把频谱还原为波形。这一管线割裂了语言语义与声学细节，难 以做到零样本语音克隆。神经编解码 token 与自回归 Transformer 的结合，把 TTS 从频谱回归转变为离散 token 预测， 彻底改变了语音生成的范式。
14.6.4 神经编解码语音生成
神经编解码器（Neural Codec）将波形压缩为一组离散码序列，是语音生成模型的基础设施。EnCodec 与 SoundStream 等模型采用编码器-量化器-解码器结构，训练目标包含重建损失、对抗损失与感知损失，使离散码能在低 比特率下忠实还原语音。其核心机制是残差向量量化：第一层码本捕捉最粗糙的信息，后续码本逐层补偿残差，最终以数 个码本并行的方式表征同一段音频。 编解码器为语音生成带来两个关键性质。其一，语音被转化为有限的离散符号，Transformer 可以直接用交叉熵预测下一 段音频的 token；其二，多个码本并行存在，生成时可以用自回归预测第一码本、再用非自回归方式填充其余码本，兼顾 质量与速度。VALL-E、CosyVoice 等主流语音生成模型均建立在某一编解码器之上，编解码器的音质直接决定了生成语音 的上限。 码本数量与带宽是工程上的核心旋钮。EnCodec 的 24kHz 配置通常含 8 个码本，目标带宽在 1.5-24 kbps 之间可调：带 宽越低，码本越少，音质损失越明显；带宽越高，离散码携带的信息越充足，后续生成模型的负担越小。流式场景对码本 要求更苛刻，因为必须逐帧解码而不能回溯，因此专门面向流式的编解码器会牺牲少量重建精度换取恒定低延迟。语音生 成系统设计的第一步，往往就是为音质-带宽-延迟三角选择一个合适的编解码器。
14.6.5 VALL-E 与自回归 TTS
VALL-E（Microsoft, 2023）首次证明：仅凭一段 3 秒的参考语音，就能用自回归 Transformer 合成任意说话人的语音， 实现零样本语音克隆（Zero-shot TTS）。它的流程是：
- 将文本转为音素序列，参考语音经 EnCodec 编码为提示 token（Speaker Prompt）
- 自回归（AR）Transformer 逐 token 预测第一码本的语音 token
- 非自回归（NAR）Transformer 生成其余码本
- EnCodec 解码器重建波形 VALL-E 的关键洞察在于把语音生成建模为以参考语音为上下文的条件续写。AR 阶段的每一步预测都以参考语音的 token 序列为前缀，相当于在语音空间中做文本指导的续写；NAR 阶段则并行生成剩余码本，避免了多码本全自回归带来的序 列爆炸。由于 token 化统一了语音与文本的表征，同一个 Transformer 可以同时接收文本条件与声学条件，这一设计深 刻影响了后续所有神经编解码 TTS。其生成流程如图14-11 所示。 Text Phoneme Sequence AR Transformer Codebook 1 Tokens NAR Transformer Remaining Codebooks EnCodec Decoder Synthesized Speech Reference Speech 3s EnCodec Encoder Speaker Prompt Tokens 图14-11 VALL-E 的零样本语音克隆流程
14.6.6 流式合成与 CosyVoice
自回归 TTS 虽然音质高，但生成必须等整句开始，延迟大，无法用于实时对话。CosyVoice（Alibaba, 2024）提出了面 向流式合成的解决方案：以语音 tokenizer 将输入音频离散化，由一个语音 LLM 预测目标语音的 token，再用基于流匹配 （Flow Matching）的解码器逐段还原波形。流匹配解码器可以按块接收 token 并输出对应的音频块，实现边说边合成的 低延迟体验。 CosyVoice 还统一了多项语音能力： •多语言合成 •零样本语音克隆 •自然语言指令控制：用户可以直接说「用缓慢的语速、悲伤的语气说这句话」，模型将其解析为生成约束 这一能力来自文本、指令与语音 token 的联合训练，把情感、口音、语速等副语言信息从隐式条件变为显式可控因素。 流式合成对注意力掩码、token 块边界与缓存管理提出了新要求。从 VALL-E 到 CosyVoice，语音生成的趋势清晰可见： 条件从固定音色走向任意参考语音与自然语言指令，解码从整句自回归走向块级流式，训练数据从单一语种走向多语言与 副语言联合建模。两条路线的对比见下表。 能力维度 VALL-E CosyVoice 语音 token EnCodec 多码本 专用语音 tokenizer 能力维度 VALL-E CosyVoice 解码器 AR + NAR Transformer 语音 LLM + 流匹配 零样本克隆 是 是 流式合成 否 是 指令控制 弱 强（情感/语速/口音） 表14-9 语音生成模型对比
14.6.7 语音-语言统一模型
语音生成的最新趋势是把 TTS 并入语言模型本身，让一个 Transformer 既理解文本也输出语音。这类语音-语言统一模型 （如 SpeechGPT、Mini-Omni、VoxBox）将文本 token 与声学 token 放入同一词表，训练时学习文本续写文本与文本续 写语音两类目标。推理时，模型先生成声学 token，再经编解码器解码为波形，使 LLM 可以直接说出答案。 统一模型解决了级联 TTS 的语义失真问题，情感、重音等副语言信息不再需要二次建模，而由 LLM 原生生成。但代价同 样明显：声学 token 率远高于文本，一个词对应数十个语音 token，序列长度与训练成本成倍增长；语音与文本 token 的混合也要求词表、位置编码与注意力掩码设计相应调整。从工程视角看，语音生成正沿着专用神经编解码 TTS、流式合 成、原生语音-语言统一的路径演进，与视觉生成从扩散到自回归的路线互为镜像。 就训练目标而言，语音生成模型可粗略分为两类： •纯语音目标（如 VALL-E）：只学习文本到声学 token 的映射，语义理解依赖外部的文本模型 •统一目标（如 SpeechGPT）：把文本续文本与文本续语音放在同一训练批次中，让模型在语言理解与语音合成之间共享 参数 后者的优势在多轮对话中尤为明显：模型可以根据上下文语气决定下一句的表达方式，而非机械地朗读给定的文本。两条 路线并不互斥，CosyVoice 等生产系统就在统一的语音 LLM 内部同时处理语言理解与声学生成，这一融合方向预计将持 续主导后续的语音合成研究。
14.7 具身智能与 VLA
视觉语言动作模型（Vision-Language-Action Model, VLA）将具身智能（Embodied AI）纳入 Transformer 的统一序列 框架。机器人的感知是图像，指令是文本，动作则是连续的控制信号。VLA 的核心思想是把动作也当作一种模态：先离散 化为 token，再与视觉、语言 token 一起交给同一个 Transformer 自回归预测。这一设计让机器人能够复用互联网规模 的图文预训练知识，从记住见过的场景走向理解未见过的指令。
14.7.1 具身智能与动作表征
机器人控制通常涉及机械臂关节角、末端执行器速度等多维连续量。传统模仿学习把动作作为回归目标，用均方误差训练 策略网络；但连续空间中的回归在分布偏移下容易失稳，且难以复用语言模型的训练基础设施。动作 token 化（Action Tokenization）的思路是把连续动作量化为一组离散符号，使动作预测变成 token 级分类问题。 量化方式决定表达能力。粗粒度的 binning 直接对每个维度均匀量化，简单但对精细操作力不从心；基于学习的向量量化 （VQ）则把动作分布压缩到词表，语义更紧凑。无论哪种方式，动作 token 与文本 token 一旦共享序列与词表，机器人 训练就从策略回归变为序列生成，可以平滑接入预训练好的语言模型。 动作表征的选择还需考虑部署约束。机器人策略通常在边缘设备实时执行，动作 token 化后的解码延迟必须低于控制周 期（通常 10-100Hz）；连续动作在末端执行器的分布并非均匀，固定 binning 在常用工作区间分辨率不足，在奇异姿态区 间又浪费码位。因此多数 VLA 采用非均匀量化或条件量化：以图像与语言上下文为条件决定动作 bin 的边界，让有限的 码位集中在高概率动作区域。动作表征因此不是一个孤立的编码问题，而是与模型容量、执行频率共同设计的系统决策。
14.7.2 RT-1 策略
RT-1（2022）是首个以 Transformer 直接输出动作 token 的机器人策略。它以摄像头画面和自然语言指令为输入：图像 经 ViT 编码为视觉 token，指令经文本编码器得到条件向量，随后由一个以 FiLM 层注入指令条件的 Transformer 自回归 预测动作 token。RT-1 在 700 余项真实任务上训练，展示了语言条件化带来的跨任务泛化——同一套参数可以处理“拿起 红色杯子”与“把毛巾放进抽屉”等语义迥异的指令。 RT-1 的设计确立了 VLA 的骨架：视觉编码器负责感知、语言条件负责意图、动作 token 负责决策，三者通过同一个 Transformer 耦合。它证明了一个朴素但重要的结论：机器人策略并不需要专门的循环或图网络，标准自回归 Transformer 配合合适的 token 化就足以学习操作技能，这为后续更大的模型铺平了道路。其动作 token 生成流程如图 14-12 所示。 Camera Frames ViT Encoder Language Instruction Visual Tokens Text Tokens Transformer Decoder Action Tokens Action Binning Robot Policy 图14-12 RT-1 的动作 token 生成流程
14.7.3 RT-2 与动作 token 化
RT-2（2023）把 VLA 推到互联网规模。它不再从零训练，而是直接微调大型视觉语言模型（PaLI-X 与 PaLM-E），把机器 人动作离散化为 256 个 bin 并映射为文本 token，与图像、文本一起参与语言模型的联合训练。由此，模型同时学习三类 数据：互联网图文对、机器人操作数据、以及动作即语言的任务数据，实现了视觉-语言-动作的深度统一。 联合训练带来两个质变。其一，语言模型的语义知识迁移到动作空间：RT-2 可以操作训练中从未见过的物体、应对未见 过的场景，并涌现出多步推理与指令组合能力。其二，模型规模、数据规模与任务泛化呈现清晰的尺度律——更大的模型 在陌生场景上的成功率显著更高。RT-2 的工作路线表明，动作可以被当作一门语言来学习，机器人智能的本质问题是数 据与规模，而非新的架构。 动作的文本化还有一个容易被忽视的好处：CoT 推理（Chain-of-Thought）直接可作用于机器人决策。RT-2 在训练中混 合了推理-动作样本，模型在输出动作 token 之前先生成一段对场景的推理文本，例如识别物体颜色、判断抓取顺序，再 据此给出动作。这让错误更容易被诊断与干预，也让大模型的推理能力首次以端到端方式服务于真实物理世界的操作。动 作 token 化因此不只是表征转换，它把机器人的行为空间与语言模型的语义空间彻底打通。
14.7.4 PaLM-E 与 OpenVLA
PaLM-E（2023）从另一个角度切入：把视觉特征直接注入语言模型的 token 序列，让模型在同一自注意力空间中同时进 行视觉问答与机器人规划。它不再为每个任务设计专用头，而是把感知、推理、规划全部建模为条件续写，562 亿参数的 规模使其具备在真实机器人上完成多步骤任务的能力。 OpenVLA（2024）则是开源生态的重要补充。它以 7B 参数的视觉语言模型为底座，在 Open X-Embodiment 大规模跨 机器人数据上微调，动作同样以离散 token 输出。OpenVLA 证明，开源模型配合统一动作词表即可达到接近专有系统的 性能，并可在多种真实机器人上零样本部署。VLA 由此完成了从专有封闭到开源可复现的闭环，成为具身智能领域与视觉 生成并列的另一条 Transformer 主线。 回顾 VLA 的发展，动作 token 化的选择始终是主线。从 RT-1 的 binning 到 RT-2 的文本化动作，再到 OpenVLA 的统一词 表，每一步都把动作表征更紧密地并入语言模型的原生序列。与此同时，扩散策略（Diffusion Policy）在连续动作空间 中表现出更强的多峰建模能力，成为 VLA 之外的另一条技术路线，二者在抓取类精细任务上各有胜负。可以预见，动作 表征的连续与离散之争将长期存在，而 Transformer 在视觉、语言与动作三者间的统一序列建模，已被证明是具身智能 迈向通用操作能力最有效的路径。
14.7.5 扩散策略与 Diffusion Policy
扩散策略（Diffusion Policy）将机器人动作建模为条件扩散生成过程。给定当前观察（视觉图像、本体感受、历史动 作），模型对动作序列的分布执行去噪采样，而非直接回归单值或离散 token。与 RT-2 的离散动作词表相比，扩散策略在 连续动作空间保留了多峰表达能力：同一视觉输入可能对应多个合理轨迹，回归损失只能输出均值，扩散采样则能覆盖整 个合理分布。 架构沿用扩散模型的去噪骨干。训练阶段对示范轨迹的动作片段施加噪声，学习噪声预测网络 ϵ (a , o , k)；推理阶段从 (k) 随机噪声出发迭代去噪 K 步得到动作块，再以滚动时域（receding horizon）方式执行。三个关键设计决定其性能： θ t t •动作块（action chunk）：一次预测未来 H 步动作而非单步，抑制高频抖动，并给视觉骨干留出推理时间 •多峰采样：相同观察下多次采样得到不同轨迹，满足需要备选动作的精细操作 •观察条件化：通过 FiLM 或交叉注意力将视觉特征注入去噪网络 实验表明，扩散策略在精密插拔、线缆操作等任务上的成功率明显高于直接回归与离散化方案。其本质是把动作分布的高 阶统计量保留到推理阶段，代价是采样带来的额外时延。各动作表征路线的对比如表14-10 所示。 方案 动作空间 表达能力 代表工作 离散 binning 离散 token 受词表粒度限制 RT-1 文本化动作 离散 token 复用语言语义 RT-2、OpenVLA 回归策略 连续向量 单峰，退化为均值 ACT 判别基线 扩散策略 连续分布 多峰，保留不确定性 Diffusion Policy 表14-10 动作表征路线对比
14.7.6 行为克隆与 ACT
行为克隆（Behavior Cloning）以监督学习方式从专家示范中学习策略，是具身智能最直接的训练范式。它把状态-动作 对当作静态数据，用极大似然拟合策略 π (a ∣ o )，训练简单、无需奖励设计，但存在分布漂移问题：训练分布的微小误 差在闭环执行中逐步累积，使状态逐渐偏离示范分布。 θ t t ACT（Action Chunking with Transformers）在此基础上引入条件变分自编码器结构。模型分为 CVAE 编码器与 Transformer 解码器：编码器将专家动作块压缩为隐变量 z，解码器以当前观察与 z 为条件生成整段动作块。训练时用 KL 项约束 z 的先验，推理时从先验采样生成动作。动作块策略显著降低了每个决策点的误差传播，使学习到的策略在真实机 器人上具备良好的闭环稳定性。 ACT 与扩散策略代表了两条互补路线。ACT 以低维隐变量捕获动作分布，训练与推理开销低，适合可重复的固定任务；扩 散策略以高维去噪过程建模更复杂的多峰分布，适合对轨迹质量要求高的精细操作。两者都以「预测动作块」为核心，区 别在于分布建模的方式。
14.7.7 π 系列与通用操作策略
π 系列（pi0、π0.5 等）把视觉语言模型与流匹配动作生成统一到单一网络。它以 VLM 为骨干，将动作解码为连续轨迹并 施加流匹配（Flow Matching）目标，从噪声分布向数据分布构造速度场，训练目标为速度场回归： LFM = Et,z ∥vθ (t, z) − ut (z)∥2 其中 u 为连接噪声与数据点的插值速度场。流匹配相比 DDPM 用更少的采样步数达到同等质量，适合对时延敏感的机器 人推理。 t π 系列的关键在于把 VLM 的语义先验引入动作空间。模型在开放世界指令（如「把抽屉里的杯子拿出来」）下生成操作轨 迹，训练数据覆盖跨本体、跨场景的大规模操作演示，使策略在未见物体与未见场景上具备泛化能力。其设计延续了 VLA 的统一序列思想，但动作侧采用连续流匹配而非离散 token，是动作表征之争中「连续派」的代表。
14.7.8 模仿学习与强化学习的结合
纯模仿学习受限于示范覆盖度，复杂任务的成功率存在上界。强化学习能通过试错探索超越示范，但真机 RL 的采样成本 极高，奖励设计依赖任务定制。两者的结合成为具身后训练的主流范式。 典型的结合路径是两阶段训练。第一阶段用行为克隆从示范中学习初始化策略，获得可用的行为先验；第二阶段在仿真或 真机上用 RL 微调，优化任务级目标（如成功率、操作速度）。强化学习对策略做闭环优化，修正模仿阶段的分布漂移； 示范先验则约束探索范围，缓解冷启动问题。 在算法层面，机器人 RL 常采用 PPO、SAC 等连续控制算法，配合域随机化增强泛化。奖励通常为稀疏成功信号加密集正 则（如动作平滑、防碰撞），避免奖励黑客。这一「模仿预热 + 强化精调」的组合，与语言模型从 SFT 到 RL 的后训练路 径在方法论上同构。
14.7.9 Sim2Real 迁移
Sim2Real 研究如何把仿真中习得的策略迁移到真实环境，是机器人 RL 能否落地的关键。仿真环境（Isaac、MuJoCo 等）提供低成本、可并行的试错空间，但仿真与真机存在系统偏差（视觉外观、动力学参数、传感器噪声）。 主流的迁移手段包括三类： •域随机化（Domain Randomization）：在训练中随机化仿真参数（材质、光照、摩擦、质量），使策略学会对参数不敏 感的特征，从而在真实环境中泛化 •系统辨识：预先标定真实动力学参数，缩小仿真与真机的差距 •真机微调：在仿真预训练后，用少量真机数据微调策略或适配视觉编码器 视觉重定位是迁移的另一难点。仿真渲染与真实图像存在域差，常用做法包括图像级域随机化、在仿真数据中混合少量真 实图像，以及用对抗或特征对齐方法拉近表示分布。Sim2Real 的成熟度直接决定了机器人 RL 从实验室走向产品化所需 的数据与算力成本。
14.7.10 具身后训练
具身后训练（Embodied Post-training）把语言模型的「预训练-微调-对齐」流水线迁移到机器人领域。预训练阶段在大 规模跨本体、跨任务的操作数据上学习通用视觉-动作表征；后训练阶段针对具体任务族做指令微调与强化学习对齐。 数据工程在后训练中占据核心地位。高质量操作数据来自真实遥操作采集与仿真合成两条渠道，需统一动作表征、过滤失 败轨迹、标注任务指令，并构建跨本体的数据格式。后训练数据经过行为克隆获得任务能力，再用 RL 以任务成功率与安 全约束为奖励精调。部分方案还引入过程级反馈，对动作序列的中间步骤提供细粒度监督。 具身后训练呈现出与语言模型对齐相似的趋势：基础模型的通用能力越强，后训练所需的任务数据越少，泛化到新场景的 能力越强。数据规模、动作表征与后训练算法的协同，正在把 VLA 从单任务专家推向通用操作智能。
14.8 多模态幻觉
多模态幻觉（Multimodal Hallucination）是指 MLLM 生成与视觉输入不一致、虚构或错误的描述——例如描述图像中不 存在的物体、错误推断空间关系、捏造文本细节等。它比纯文本 LLM 的幻觉问题更隐蔽、更难检测，因为视觉输入的真 实性约束表面上看应当抑制而非放大幻觉。2025 年斯坦福的研究“More Thinking, Less Seeing?”揭示了一个反直觉现 象：多模态推理模型在更努力思考时反而产生更多幻觉，为这一领域的研究带来了范式转变。
14.8.1 定义与分类
多模态幻觉可分为以下类型： •对象幻觉（Object Hallucination）：模型描述或回答中提及图像中不存在的对象。例如，描述一幅「一只猫在沙发上」 的图像时说「一只猫坐在红色的沙发上，旁边有一只狗」，狗是幻觉对象。这是最常见、研究最多的幻觉类型 •属性幻觉（Attribute Hallucination）：对象存在但属性错误，颜色、大小、材质、数量等被误判（例如将「白色的狗」 描述为「黑色的狗」） •空间幻觉（Spatial Hallucination）：对象间的位置关系描述错误（例如「A 在 B 的左边」当实际为「A 在 B 的右 边」），或整体场景布局的虚构 •时序幻觉（Temporal Hallucination）：仅出现在视频理解中，对事件的时序关系描述错误，或将不相连的事件虚构为 因果链 •关系幻觉（Relational Hallucination）：对象间的关系被错误推断（例如将两个无关对象描述为「A 正在使用 B」） •文本幻觉（OCR Hallucination）：对图像中文字内容的错误读取或凭空捏造，在文档理解、图表分析中尤为突出 Multimodal Hallucination Object Hallucination Attribute Hallucination Spatial Hallucination Temporal Hallucination Relational Hallucination OCR Hallucination Fabricated non-existent ob Omitted existing objects Color error Quantity error Size/shape error Position relation error Fabricated scene layout Temporal relation error Fabricated causal chain Interaction relation error Dependency relation error Text reading error Hallucinated text jects 图14-13 多模态幻觉的分类体系
14.8.2 推理放大的幻觉悖论
“More Thinking, Less Seeing? Amplified Hallucination in Multimodal Reasoning Models”（Zhang et al., Stanford 2025）是多模态幻觉研究的里程碑工作。该研究发现了多模态推理模型中的一个核心悖论：更长的推理链（Chain-of- Thought）往往导致更高的幻觉率。 实验设计：在 MME、MMBench、HallusionBench 三个数据集上测试了 6 个多模态推理模型（包括 GPT-4o、Claude 3.5 Sonnet、Gemini 1.5 Pro 等）在不同推理链长度下的幻觉率。 核心发现： •幻觉率与推理链长度正相关：在 MME 的感知子任务上，使用 CoT 推理后，平均幻觉率从 12.3% 升至 18.7%，推理链 越长，幻觉越严重。GPT-4o 在扩展推理时的幻觉率增长尤为显著（+9.2 个百分点） •感知能力的思维稀释：当模型花费更多计算在推理上时，其对原始视觉输入的关注度反而下降。注意力分析显示，在 CoT 推理的后半段，视觉 token 的注意力权重比前半段平均下降 35% •模型越强，推理幻觉比越高：GPT-4o 和 Claude 3.5 等强推理模型在引入 CoT 后幻觉率增长 1.5-2 倍，而 LLaVA-1.6 等 弱推理模型仅增长 1.2-1.3 倍 •任务的视觉依赖度调节效果：在高度视觉依赖的任务上（如精确计数、颜色识别），CoT 推理的负面影响最大（幻觉率 增幅达 +15%）。而在推理依赖的任务上（如逻辑推断、数学推理），CoT 的负面影响较小（+3-5%） 以下是 2025 年主流模型在 CHAIR 指标上的表现： 模型 CHAIR_s CHAIR_i 对象幻觉率 属性幻觉率
LLaVA-1.5 (13B) 25.4% 12.8% 18.2% 8.5%
LLaVA-1.6 (8B) 18.7% 9.2% 12.4% 6.1%
Qwen-VL-Max 15.3% 7.6% 10.1% 5.2%
GPT-4V 8.2% 4.1% 5.6% 2.8%
GPT-4o 6.8% 3.4% 4.2% 2.1%
GPT-4o + CoT 12.5% 6.3% 8.5% 4.0%Claude 3.5 Sonnet 7.1% 3.6% 4.6% 2.3% Claude 3.5 + CoT 11.9% 5.8% 7.9% 3.7% 表14-11 主流 MLLM 在 CHAIR 幻觉检测基准上的表现 注：CHAIR_s（Sentence-level）和 CHAIR_i（Instance-level）分别度量句子级别和实例级别的对象幻觉率。越低越 好。CoT 推理将 GPT-4o 和 Claude 3.5 的 CHAIR 指标提升了约 1.8 倍，验证了推理放大幻觉的跨模型普适性。 Attention dilution visual token weight down 35% Vision-dependent tasks +15% Hallucination Modality competition Hallucination rate increase Use CoT reasoning Language prior suppresse 12.3% to 18.7% Task modulation s vision Reasoning-dependent task s +3-5% Hallucination Over-reasoning Accumulated erroneous in termediate hypotheses 图14-14 推理放大幻觉的核心因果链
14.8.3 检测方法与根因
CHAIR（Caption Hallucination Assessment with Image Relevance）（Rohrbach et al. 2018）是最广泛使用的检测方 法。CHAIR 将模型生成描述中的每个对象与图像中 MS-COCO 标注的对象列表做对比： ∣{sentences with hallucinated objects}∣ ∣{hallucinated objects}∣ CHAIRs = , CHAIRi = ∣{all sentences}∣ ∣{all mentioned objects}∣ CHAIR 的局限在于依赖 MS-COCO 的对象标注——只能检测标注对象列表中的幻觉，忽略了 COCO 未标注的对象和多对象 复杂关系。 POPE（Polling-based Object Probing Evaluation）（Li et al. 2023）通过构造二值判断题检测对象幻觉。给模型展示图 像和问题“Is there a [object] in the image?”，其中 [object] 可以是存在的或不存在的对象。POPE 避免了 CHAIR 的标 注覆盖问题。 对比解码（Contrastive Decoding）（Leng et al. 2023; Huang et al. 2024）利用原始图像和扰动版本的 logits 差异来检 测幻觉倾向。如果模型对原始图像和扰动图像给出相似的响应（低对比度），则该响应可能源自语言先验（幻觉）： Contrast(y) = log p(y∣Iorig ) − log p(y∣Idistorted ) 高 Contrast 值表示响应强烈依赖视觉细节（低幻觉风险），低 Contrast 值表示响应主要由语言先验驱动（高幻觉风险）。 除注意力稀释、模态竞争和过度推理外，多模态幻觉还存在以下深层根因： •数据层面的先验偏差：多模态训练数据中存在系统性偏差，某些视觉概念与文本描述之间的关联在训练数据中被过度强 化。例如，MS-COCO 中「人」和「手机」频繁共现，模型学会在各种有「人」的场景中习惯性提及「手机」 •视觉编码器的信息损失：CLIP 等视觉编码器在对比学习过程中不可避免地将高分辨率视觉信息压缩为低维向量，细节 信息在编码过程中被不可逆地丢失。模型只能猜测这些细节，而猜测就是幻觉的温床 •训练目标的短视：训练 MLLM 时，损失函数仅度量文本输出与参考文本的对齐度，并没有直接惩罚与视觉输入不一致 的生成。模型学会的是生成看起来合理且流畅的文本，而非生成与视觉严格一致的文本 •跨模态对齐中的语义膨胀：在对齐训练中，视觉 token 被映射到 LLM 的嵌入空间。由于 LLM 的文本嵌入具有丰富的语 义关联，视觉 token 进入该空间后也被动关联了这些语义，模型可能将视觉 token 的语义膨胀为超出实际视觉内容的 概念联想
14.8.4 缓解策略
Score-Control for Diffusion Models（2026）：将扩散模型中的无分类器引导（CFG）思想迁移到多模态幻觉控制中。 核心公式： log pλ (y∣I) = log p(y∣I) + λ ⋅ (log p(y∣I) − log p(y∣∅)) 其中 log p(y∣∅) 是无视觉条件下的语言先验分布。正的 λ 强化了视觉条件信号的引导作用。Score-Control 的关键创新在 于动态 λ 调度：对高幻觉风险区域使用更大的 λ。实验显示，在 GPT-4o 级别的推理模型上可将 CoT 推理后的 CHAIR 幻 觉率从 12.5% 降至 8.9%（降低 29%）。 训练数据策展： •负样本构造：在训练数据中显式加入图像-错误描述对作为负样本，训练模型区分正确与错误的视觉描述 •幻觉感知微调：使用 CHAIR 和 POPE 等工具标注训练数据中的幻觉风险区域，在微调中加权惩罚这些区域的生成 •对比指令构建：构建「请仅基于图像中的可见内容回答」vs「请基于你的知识推理回答」的对比指令对，教会模型区分 「看到」和「知道」 视觉 Token 增强： •高分辨率区域注意力：对图像中的关键区域使用更高的编码分辨率，减少信息损失 •多尺度视觉 token：同时使用不同分辨率的视觉编码结果，低分辨率捕获全局语义，高分辨率保留局部细节 •视觉 Token 显式位置编码：在视觉 token 中显式注入空间位置信息，帮助 LLM 理解视觉 token 的空间结构，对减少空 间幻觉尤其有效 推理时缓解策略： •验证链（Verification Chain）：在生成回答后，要求模型重新检查图像，验证回答是否与视觉内容一致 •视觉锚定（Visual Anchoring）：在推理链的每一步中显式引述视觉证据 •Attention Steering：在推理时人为增强视觉 token 的注意力权重，补偿 CoT 推理中的注意力稀释 案例研究： 以下三个案例分别展示了三种幻觉机制： •对象幻觉：GPT-4o 描述一张桌面照片时加入了「一支笔」，图像中并无笔，这是语言先验（「笔记本和笔」的共现）驱 动的幻觉 •推理放大幻觉：同一张图像，GPT-4o 的 CoT 推理在步骤三引入了「手机」，虽然图像中不太清晰，但推理认为「通常 桌面都会有手机」，导致计数从 3 件错为 4 件 •OCR 幻觉：一张模糊的街道指示牌图像，Qwen-VL 回答「指示牌上写着中山路」，实际上原始文字被遮挡，模型基于 中文街道的常见命名模式进行了虚构
14.8.5 开放问题与未来方向
多模态幻觉研究仍面临多项开放挑战： •幻觉与创造性的边界：在某些场景中，超越视觉内容是期望的创造性行为。如何量化区分有害幻觉和有益创造性，两者 在多模态生成中的边界模糊 •幻觉的跨语言影响：多语言多模态模型中，不同语言的文化背景和语言先验差异如何影响幻觉率 •幻觉的连锁效应：在多轮视觉对话中，一轮中的幻觉会在后续轮次中被继承、放大甚至固化为模型的虚假记忆 •对抗性视觉攻击的幻觉诱导：通过在图像中注入人眼不可见的扰动，是否可以定向诱导模型产生特定幻觉 •幻觉的自我感知：模型能否学会意识到「我不确定视觉输入中的这部分信息」，不确定性校准和多模态置信度估计是减 少幻觉的前置条件 未来发展方向包括： •视觉-语言联合校准：在统一概率框架中联合建模视觉和语言的不确定性 •检索增强视觉理解：用检索到的真实视觉信息约束生成，RAG 思想在视觉领域的扩展 •多模态归因：要求模型为每个视觉声明标注其视觉来源 •视觉强化学习对齐：通过视觉偏好数据训练多模态奖励模型，用 PPO/DPO 优化 MLLM 的视觉忠实度 •「先看后想」架构：基于「More Thinking, Less Seeing?」的发现，设计强制视觉编码-延迟推理的架构管道，在 CoT 推理的每一步之前重新注入视觉 token