返回博客列表

VibeVoice 删了 TTS 之后还剩什么:从安装到 60 分钟会议转写

2026-11-10T10:05:00+08:00
VibeVoice微软语音识别ASRvLLM开源项目

VibeVoice 删了 TTS 之后还剩什么:从安装到 60 分钟会议转写

先把结论放这:TTS 没了,但这个仓库现在反而更值得做语音的人读一遍。

很多人对 microsoft/VibeVoice 的印象还停在 2025 年 8 月那个能生成 90 分钟多人对话的 TTS 模型上。2026-11-10 我重新拉了一遍仓库和官方文档,现状已经完全变了:56,947 star、6,415 fork、205 个未关闭 issue,TTS 的可执行代码在 2025-09-05 被整体移除,仓库现在的主线是会议场景的语音识别(ASR),而且补上了 Transformers 原生支持、vLLM 服务化和 LoRA 微调三条工程路径。

这篇文章不讲 TTS 被删的八卦(之前那篇讲过了),只回答四个实用问题:它现在到底是什么、照官方文档怎么把它跑起来、哪些设计细节值得做语音应用的人抄走、以及它和 Whisper 这类同类模型比差在哪。文中的命令我都对着 2026-11-10 的 main 分支文档逐条核过。

本文提纲

  1. VibeVoice 现在是什么:一个模型家族,不是一个模型
  2. 它要替代的那条三段式流水线
  3. 安装:官方默认你手里有 GPU
  4. 四种跑法:demo、Transformers、流式、vLLM
  5. LoRA 微调和没有显卡时的 CPU 退路
  6. 值得学习的五个设计
  7. 同类比较:和 Whisper、SenseVoice、三段式差在哪

VibeVoice 现在是什么:一个模型家族,不是一个模型

一句话定位:VibeVoice 是微软开源的语音模型家族,共用同一套 7.5 Hz 音频 tokenizer,当前主线是单次前向处理 60 分钟音频、同时输出"谁在什么时候说了什么"的会议 ASR。它不是一个 SaaS 服务,不提供托管 API(vLLM 那条路要你自己部署),也不再是 TTS 仓库。

家族里现在有五个模型,关系是这样:

flowchart LR
    CORE["7.5 Hz tokenizers
+ next-token diffusion"]:::core TTS["TTS-1.5B
90 min dialogue
code removed 2025-09-05"]:::dead RT["Realtime-0.5B
8K context, ~10 min"]:::teal ASR["ASR-7B
64K context, 60 min, 50+ langs"]:::blue STR["ASR-Streaming-7B
chunked, 10 langs, hotwords"]:::sage CPU["ASR-BitNet
1.58 GB, CPU RTF < 1"]:::mint CORE --> TTS CORE --> RT CORE --> ASR ASR --> STR ASR --> CPU classDef core fill:#FF6B6B,stroke:#764ba2,color:#000,stroke-width:2px classDef dead fill:#DDA0DD,stroke:#764ba2,color:#000,stroke-dasharray:5 5 classDef teal fill:#4ECDC4,stroke:#764ba2,color:#000 classDef blue fill:#45B7D1,stroke:#764ba2,color:#000 classDef sage fill:#96CEB4,stroke:#764ba2,color:#000 classDef mint fill:#98D8C8,stroke:#764ba2,color:#000

虚线那个 TTS-1.5B 节点要说清楚:模型权重在 Hugging Face 上仍然公开(MIT 协议),技术报告和 docs/vibevoice-tts.md 也还在,但 main 分支上没有能加载这些权重的 processor 和推理脚本,HF 页面的 Playground 标注为 Disabled。官方给的移除理由是无法为滥用风险构建足够的防护。想复现 TTS 只能去 6,415 个 fork 里找 2025-09-05 之前的副本,这不是本文的路线。

今天 clone 下来的仓库,demo/ 目录里能跑的入口全部属于 ASR:非流式文件推理、Gradio、流式 FastAPI、流式文件推理,外加 web/ 界面和 vllm_plugin/ 服务化插件。训练侧只保留了 finetuning-asr/ 这一条 LoRA 路径。

另外提醒一个容易误读的数字:这 5.7 万 star 绝大部分是 2025 年 8 月底那两周冲着 TTS 点的,不能拿它论证 ASR 的成熟度。判断 ASR 好不好用,得看下面的精度表和你自己的场景测试。

它要替代的那条三段式流水线

在 VibeVoice-ASR 之前,做多说话人会议转写的标准做法是三段式:VAD 先把音频切成语音段,普通 ASR 逐段转写,再用说话人嵌入做聚类(diarization),最后按时间戳把三份结果拼起来。

这套架构的好处是每个环节都能单独换模型、单独调阈值。坏处是误差会相乘:VAD 漏掉一句,转写就缺一句;ASR 的句子边界和聚类的时间边界错开,某个词就挂到了错误的人名下。会议记录里,张冠李戴比写错字更难接受。

VibeVoice-ASR 把三件事塞进一次前向,直接吐出结构化 JSON。Transformers 版的原始输出长这样(来自官方示例):

[
  {"Start": 0.0, "End": 15.43, "Speaker": 0, "Content": "Hello everyone and welcome..."},
  {"Start": 15.43, "End": 21.05, "Speaker": 1, "Content": "Thanks so much for having me..."}
]

代价是失去三个可以单独拧的旋钮:切分灵敏度、热词强度、说话人数量上限。它给的是联合结果,不是三个模块各自最优后的拼装。官方 MLC-Challenge 等数据集上的表现:

数据集 语言 DER(说话人切分) cpWER(带归属) WER(纯文本)
MLC-Challenge 平均 11 种 3.42 14.81 12.07
MLC-Challenge 英语 4.28 11.48 7.99
MLC-Challenge 日语 0.82 15.33 14.69
AISHELL-4 中文 6.77 24.99 21.40
AliMeeting 中文 10.92 29.33 27.40
AMI-IHM(头戴麦) 英语 11.92 20.41 18.81
AMI-SDM(远场阵列) 英语 13.43 28.82 24.65

DER 3.42 换算成准确率约 96.6%,WER 12.07 约 88%。这两个数字放一起说明它的能力结构:判断"谁在什么时候说话"明显强于听清"说了什么"。cpWER 比 WER 高出的部分就是说话人归属错误贡献的,葡萄牙语上这个差值达到 8.4 个点,多说话人小语种的归属问题尤其重。

另外要先打个预防针:仓库文档没有和 Whisper 的完整 DER/WER 对照表,"VibeVoice 比 Whisper 强"在仓库层面无法验证。它的卖点是省掉三段式拼装、一次前向拿到结构化结果,不是绝对 WER 领先;具体和 Whisper、SenseVoice 的同口径对比放在后面的同类比较节。

安装:官方默认你手里有 GPU

官方推荐的环境是 NVIDIA PyTorch Container,验证过的版本区间是 24.07 到 25.12:

sudo docker run --privileged --net=host --ipc=host \
  --ulimit memlock=-1:-1 --ulimit stack=-1:-1 \
  --gpus all --rm -it nvcr.io/nvidia/pytorch:25.12-py3

# 容器内如果没有 flash-attn 再手动装
# pip install flash-attn --no-build-isolation

然后克隆安装,两条命令:

git clone https://github.com/microsoft/VibeVoice.git
cd VibeVoice
pip install -e .

跑 demo 还要 ffmpeg 解码音频:apt update && apt install ffmpeg -y。

整个安装文档没有写最低显存要求,只给了容器加 flash-attn 这一条路径。这是个值得注意的信号:官方默认假设你在带 GPU 的服务器上搞,环境问题自己解决。我按 7B 常见结构(28 层、4 个 KV 头、head dim 128、FP16)粗算过,64K 上下文的 KV cache 大约 3.7 GB,加上 14 GB 左右的权重,24 GB 的 4090/L40S/A10 卡在能跑的边界上,想并发多路就得 40 GB 往上。这个数字是我的估算,不是官方实测,仓库里没有一行显存数据。

四种跑法:demo、Transformers、流式、vLLM

跑法一:官方 demo,验证模型能不能出声

最快的验证方式是 Gradio 界面:

python demo/vibevoice_asr_gradio_demo.py \
  --model_path microsoft/VibeVoice-ASR --share

不想起界面,直接文件推理,输出带说话人和时间戳的结构化结果:

python demo/vibevoice_asr_inference_from_file.py \
  --model_path microsoft/VibeVoice-ASR \
  --audio_files /path/to/meeting.wav

--model_path 直接填 HF 仓库 ID 会自动下载权重,也可以填本地 checkpoint 目录。非流式模型支持 50 多种语言,不需要显式指定语言,中英混说(code-switching)能原生处理。

热词(customized hotwords)是这个模型的实用功能:把人名、专业术语作为上下文喂进去,识别会向这些词偏置。官方给过一个德语口音的对比例子,不加 context 时 "VibeVoice" 被识别成 "Revevoices",加上 prompt="About VibeVoice" 后纠正。文件 demo 和 vLLM 接口都支持,参数形式是逗号分隔的字符串。

跑法二:Transformers 原生调用,三行加载

这是后来补上的官方路径,也是我最推荐集成进自己应用的方式。VibeVoice-ASR 从 Transformers v5.3.0 开始原生支持,不用 clone 整个仓库:

pip install "transformers>=5.3.0"
from transformers import AutoProcessor, VibeVoiceAsrForConditionalGeneration

model_id = "microsoft/VibeVoice-ASR-HF"
processor = AutoProcessor.from_pretrained(model_id)
model = VibeVoiceAsrForConditionalGeneration.from_pretrained(
    model_id, device_map="auto"
)

inputs = processor.apply_transcription_request(
    audio="meeting.wav",
    prompt="VibeVoice, vLLM, KV cache",  # 热词,可选
).to(model.device, model.dtype)

output_ids = model.generate(**inputs)
generated_ids = output_ids[:, inputs["input_ids"].shape[1]:]

# 三种取结果方式
raw = processor.decode(generated_ids)[0]                          # 原始 JSON 字符串
parsed = processor.decode(generated_ids, return_format="parsed")[0]        # list[dict]
text_only = processor.decode(generated_ids, return_format="transcription_only")[0]  # 纯文本

有个实现细节值得留意:模型被训练成生成一个"长得像 JSON"的字符串,return_format="parsed" 是 processor 侧尝试解析,解析失败会原样返回字符串。生产代码里别假设它一定是合法 JSON,要留 fallback。批量推理支持传入等长的 audio 列表和 prompt 列表。

跑法三:流式 ASR,边说边出字

2026-09-03 发布的 ASR-Streaming-7B 参数规模和非流式一样是 7B,能力是边收边转、支持热词,但语言覆盖从 50+ 缩到 10 种。

起一个 FastAPI 服务,浏览器开 http://localhost:7870,整段录音期间 WebSocket 保持连接,文本随说随出:

python demo/vibevoice_asr_streaming_fastapi_demo.py \
  --model_path /path/to/streaming-checkpoint

文件版按 chunk 打印结果,热词参数换成 --context_info:

python demo/vibevoice_asr_streaming_inference_from_file.py \
  --model_path /path/to/checkpoint \
  --audio_files meeting.wav \
  --context_info "Microsoft,VibeVoice"

这里有个反直觉的硬约束:chunk 大小和 lookahead 不是命令行参数,是从 checkpoint 的 preprocessor_config.json 里读的。官方原话是一个 checkpoint 永远跑在它训练时用的那个 chunk 上。你没法通过调小 chunk 换更低延迟,想更快只能换 checkpoint。这也解释了流式版为什么只有 10 种语言:分块训练要为每种语言单独对齐 chunk 边界,语言越多数据摊得越薄。

选型判断很直接:多语种会议走非流式 60 分钟一次过,接受没有实时字幕;单语种实时字幕可以用流式。另外流式版没有公开精度表,文档只讲怎么跑没给 WER/DER,上生产前自己测。

跑法四:vLLM 服务化,OpenAI 兼容接口

要做高并发服务,仓库里的 vllm_plugin/ 把 ASR 包装成了 vLLM 插件,不用改 vLLM 源码,暴露标准的 /v1/chat/completions 端点。基于官方 vLLM 镜像 vllm/vllm-openai:v0.14.1 启动:

docker run -d --gpus all --name vibevoice-vllm \
  --ipc=host -p 8000:8000 \
  -e VIBEVOICE_FFMPEG_MAX_CONCURRENCY=64 \
  -e PYTORCH_ALLOC_CONF=expandable_segments:True \
  -v $(pwd):/app -w /app --entrypoint bash \
  vllm/vllm-openai:v0.14.1 \
  -c "python3 /app/vllm_plugin/scripts/start_server.py"

多卡有两种并行方式,语义别搞混:--tp N 是张量并行,把一个模型切到 N 张卡上,解决单卡放不下;--dp N 是数据并行,每张卡跑一个独立副本,nginx 在前面做负载均衡,解决吞吐。总卡数等于 dp × tp。官方把 DP 列为扩吞吐的推荐项,8 卡机器可以直接 --dp 8。

测接口用自带脚本,音频文件要放在挂载目录里:

docker exec -it vibevoice-vllm \
  python3 vllm_plugin/tests/test_api.py /app/audio.wav \
  --hotwords "Microsoft,VibeVoice"

长音频还有个 test_api_auto_recover.py,专门处理重复循环(长音频解码时模型偶尔陷入复读)的自动恢复。OOM 时的调优顺序文档也给了:先降 --gpu-memory-utilization,再降 --max-num-seqs,最后缩 --max-model-len。

LoRA 微调和没有显卡时的 CPU 退路

LoRA 微调:唯一保留的训练路径

finetuning-asr/ 是仓库里唯一的训练入口,基于 peft 做 LoRA。装完 vibevoice 再加一个 peft:

pip install -e .
pip install peft

torchrun --nproc_per_node=1 lora_finetune.py \
  --model_path microsoft/VibeVoice-ASR \
  --data_dir ./toy_dataset \
  --output_dir ./output \
  --lora_r 16 --lora_alpha 32 --lora_dropout 0.05 \
  --num_train_epochs 3 --learning_rate 1e-4 \
  --bf16 --report_to none

数据组织成音频加同目录 JSON 标签成对出现,标签格式就是模型输出格式的训练版:

{
  "audio_duration": 351.73,
  "audio_path": "0.mp3",
  "segments": [
    {"speaker": 0, "text": "Hey everyone...", "start": 0.0, "end": 38.68}
  ],
  "customized_context": ["Tea Brew", "Aiden Host"]
}

两个细节。第一,自带的 toy_dataset/ 是用 VibeVoice TTS 合成的演示数据,文档自己注明不是完整微调数据集,正经微调要准备真实录音。第二,LoRA 权重可以用 merge_and_unload() 合回基座再部署,省掉推理时的适配器开销。

CPU 退路:另一个仓库 VibeASR.cpp

没有 GPU 的话,路线在另一个仓库 microsoft/VibeASR.cpp,对应模型 ASR-BitNet。名字叫 BitNet,但它不是 BitNet b1.58 那种训练时就把权重约束到 {-1, 0, 1} 的方案,而是训练后异构量化:VAE tokenizer 走 8-bit(I8_S),语言模型走 2-bit(I2_S)。

组件 FP16 BitNet 版 压缩比
VAE Tokenizer 1.31 GB 0.65 GB 2.0×
LM Decoder 3.32 GB 0.92 GB 3.6×
合计 4.62 GB 1.58 GB 2.9×

速度是真的能打:AMD EPYC 7V13 上 RTF 从单线程 1.58 降到 2 线程 0.84、8 线程 0.27,2 线程就进入实时;Apple M4 上单线程 0.63,4 线程 0.21。一台 4 核 NUC 级别、没有显卡的机器就能当常驻转写服务。

但精度代价分布不均,官方 WER 表自己列出来了:

Benchmark 7B FP16 BitNet 差值
MLC-EN 7.82 8.25 +0.43
Libri-clean 2.17 2.41 +0.24
AMI-ihm 17.42 21.36 +3.94
AliMeeting 36.21 40.58 +4.37
AISHELL-4(中文) 19.83 27.45 +7.62

README 说"适度下降,绝对 WER 增加 1–4%",这个说法在中文 AISHELL-4 上不成立:掉了 7.62 个绝对点,相对恶化 38%,而且 27.45 比同表的 SenseVoice(22.52)和 FunASR(20.41)都差。中文会议场景,专门的中文模型在 CPU 上又快又准,BitNet 路线更适合英语为主、机器确实没显卡的情况。

值得学习的五个设计

1. 7.5 Hz 帧率:把一小时音频压进语言模型的序列预算

这个家族真正的技术资产不是参数量,是那条超低帧率时间线。24,000 Hz 采样率经过 8×5×5×4×2×2 共 3,200 倍下采样,24000 ÷ 3200 = 7.5,每秒音频只产生 7.5 个 token,每个 token 覆盖 133 毫秒。

数字背后是序列长度的账:1 分钟 450 帧,60 分钟 27,000 帧。Whisper 那种 50 Hz 梅尔帧率,一小时就是 18 万帧,长音频在上下文预算上直接撞墙。7.5 Hz 让"一小时会议"变成语言模型吃得下的序列。三代模型(TTS、Realtime、ASR)共用这套 tokenizer 和 diffusion head,删 TTS 删的是应用层,底座没动,这是 ASR 能在 2026 年持续出新品的原因。

2. 64K 上下文不是拍脑袋,是一道预算账

ASR 的两个能力数字是配套的:60 分钟音频、64K token 窗口。60 分钟对应 27,000 个音频 token,一小时演讲的文本大约 12,000–18,000 token,加起来 39,000–45,000,落在 65,536 以内,剩下三分之一留给 prompt、时间戳标记和说话人标签。64K 是"刚好装下一小时会议再留点余量",不是选了个吉利大数。

同一套预算在不同模型上约束完全不同。Realtime-0.5B 只有 8K 上下文,对应约 10 分钟音频(4,500 音频 token 加文本和对话历史就满了),这解释了实时版为什么是 0.5B 而不是 7B:延迟预算不允许更大的模型。做长音频应用时,先算 token 账再选模型,这个思路可以直接搬到任何音频 LLM 项目。

3. 一次前向的联合输出,把集成成本做进模型

Who/When/What 一体化最大的工程价值是把集成成本从用户侧移到了模型侧。三段式方案里,业务代码要维护 VAD、ASR、聚类三个模型的版本对齐、时间戳归一化和错误兜底;VibeVoice 的输出直接是带 Speaker 字段的 JSON,配合 Transformers 的 return_format="parsed",业务层拿到就能入库。

代价前面说过,联合模型失去了分模块调优的旋钮。这个取舍本身就是个设计教材:当你的用户主要是应用开发者而不是算法工程师时,"少暴露旋钮、保证默认效果"往往比"每个环节可替换"更有产品价值。

4. checkpoint 即配置:流式参数不开放给运行时

流式版把 chunk 和 lookahead 写死在 checkpoint 的 preprocessor_config.json 里,拒绝命令行覆盖。表面看是灵活性退步,实际是消除了一类最隐蔽的线上事故:训练时分块边界和推理时不一致,导致精度静默下降。

把"训练时的假设"固化进产物、让非法配置在加载期就失败,而不是在指标复盘时才发现,这是严肃推理系统的做法。vLLM 插件同样把并发度、显存策略放进环境变量和启动参数并给出调优顺序,而不是让用户翻源码找默认值。

5. 一份模型,四种交付形态

同一个 ASR-7B 基座,官方给了四条完整路径:研究验证用 Gradio demo,应用集成用 Transformers 三行 API,实时场景用流式 checkpoint,高并发生产用 vLLM 插件(DP/TP、OpenAI 兼容、自动恢复),再补一个 LoRA 微调闭环和 CPU 量化退路。这套"原型、集成、实时、服务、定制、降级"全覆盖的交付矩阵,比模型本身的精度数字更值得开源项目维护者参考:用户卡在落地路径上的概率,远高于卡在模型能力上的概率。

同类比较:它和 Whisper、SenseVoice、三段式方案差在哪

单独夸一个模型是广告,放进坐标系里才是分析。语音转写这条赛道上,VibeVoice-ASR 的真正参照系有三个:传统三段式流水线、Whisper 这类通用 ASR、SenseVoice/FunASR 这类中文专项模型。

先看定位差异,这张表只放真正并列的维度:

维度 VibeVoice-ASR-7B Whisper(large 级) SenseVoice / FunASR 三段式(VAD+ASR+聚类)
核心定位 长音频会议一体化 通用多语种转写 中文为主的高效转写 可拼装的工程方案
单次输入上限 60 分钟单前向 30 秒窗口分段 短音频分段 取决于各模块
说话人归属 原生,一次前向给出 不提供,需另接 部分版本支持 靠聚类模块拼
时间戳 原生结构化输出 词级/段级 段级 模块间对齐
语言覆盖 非流式 50+,流式 10 90+ 中文与少数语种 随所选 ASR
CPU 可行性 BitNet 量化后可跑 whisper.cpp 成熟 原生轻量,效果好 随所选模块

再看同口径的精度数字。这里要先立一条规矩:只比同一张表里的数字。VibeASR.cpp 的 CPU 基准表和 ASR 主表口径不同(同一个 AliMeeting 模型在两份文档里 WER 差 8.8 个点),跨表结论不可信。在 CPU 这张同口径表里,能直接读出三组关系:

  • 对 Whisper:Fleurs-en 上 Whisper 3.99、VibeVoice BitNet 5.21;Libri-clean 上 Whisper 1.98、VibeVoice 2.41。纯英文朗读场景,Whisper 的 WER 更低。但 Whisper 不原生输出说话人归属,30 秒窗口也处理不了一小时的全局说话人跟踪,要补齐这两块还得自己加 diarization 和窗口拼接。
  • 对 SenseVoice/FunASR:中文 AISHELL-4 上,VibeVoice BitNet 是 27.45,SenseVoice 22.52,FunASR 20.41。中文会议场景,专项模型在 CPU 上同时更准、更快,VibeVoice 的 2-bit 量化在中文上掉点最重(相对恶化 38%)。
  • 对三段式:这不是精度之争,是架构取舍。三段式每个环节可单独换模型、调阈值,但三处误差相乘、时间戳要自己对齐;VibeVoice 用一次前向换掉这套拼装,代价是失去切分灵敏度、热词强度、说话人上限三个旋钮。它的 DER 3.42 / WER 12.07 是联合结果,不是三个模块各自最优后的替代品。

选型结论因此很清楚:要的是"一小时多人会议、直接产出带说话人和时间戳的结构化记录、不想维护三段式",选 VibeVoice;纯英文或多语种通用转写、追求最低 WER,Whisper 仍是更稳的基线;中文为主、跑在轻量设备上,SenseVoice/FunASR 性价比更高。它切的是"长音频会议一体化"这个细分,不是要在所有场景通吃。

参考文档与链接

你要是在 24G 卡上压过一小时会议的显存,或者在 4 核小机器上实测过 BitNet 的端到端耗时,评论区贴个数字——这两个数官方文档都没有,比任何估算都值钱。


作者: itech001
来源: 公众号:AI人工智能时代(the-ai-era)
网站: https://www.theaiera.top/ 关注每日最新AI新闻和技术博客,主页有更多的文章的AI 技术参考:https://www.theaiera.top

本文首发于 AI人工智能时代,转载请注明出处。

分享给朋友