
字节笔记本
2026年11月5日 · 约 2 分钟读完
一个语音开源家族的两条命:ASR 全线产品化,TTS 曾自撤
microsoft/VibeVoice 这个仓库值得当成开源语音的活教材来看:同一个家族,TTS 和 ASR 走出了两条完全不同的命运线。目前项目 55,511 星,语音模型族谱覆盖从 7B 识别到 0.5B 实时合成。
技术底座是持续的语音 tokenizer(声学与语义两路),帧率压到 7.5Hz,配合 next-token diffusion 框架:LLM 负责理解文本上下文和对话流,diffusion 头负责生成高保真声学细节。这个设计让长音频处理的成本大幅下降,是整个家族能做「小时级」任务的根基。

ASR 这条线明显是被偏爱的孩子。VibeVoice-ASR-7B 一次吞下 60 分钟长音频(64K token 窗口内),同时输出谁在说、何时说、说了什么的结构化转写,支持自定义热词,号称覆盖 50 多种语言;2026 年 9 月又发了流式版,语音还在进、文字就在出,边到边标注说话人;7 月的 BitNet 版把 4.62GB 压到 1.58GB,用异构量化在纯 CPU 上跑实时识别。工程化也没落下:进了 Transformers 库、接了 Azure AI Foundry Labs、支持 vLLM 推理、连微调代码都放开了。
TTS 那条线则是一段克制的故事。VibeVoice-TTS-1.5B 本是招牌:单次合成 90 分钟、最多 4 个说话人的长对话语音,拿下 ICLR 2026 Oral。但 2025 年 9 月,微软以「被用于与声明意图不符的方式」为由,把 TTS 代码从仓库移除;如今模型表里 TTS-1.5B 的在线试用一栏仍标着 Disabled,Realtime-0.5B 的实时合成线和 9 语种实验音色是后来重启的部分。
两条线放在一起,答案已经写在时间线里:转写是被普遍认为低风险的刚需,于是从模型到云端一路产品化;声音生成天然背着克隆滥用的风险,于是一边拿学术认可、一边在开源侧踩刹车。做语音产品的团队,选型时不妨先想清楚自己站在这条风险光谱的哪一段。



