通用语音识别模型VibeVoice ASR：长达60分钟音频一次性“直出”结构化转写

语音识别技术在近年来取得了飞速发展，但在面对真实的复杂场景时，许多系统依然显得有些力不从心：漫长的会议、多人混杂的交谈、极具专业性的行业术语，或是中英夹杂的日常对话…… 传统的语音识别系统往往需要将长音频切分成一个个短小的片段，分别识别后再费力地“拼凑”起来。这种“化整为零”的方法不仅容易丢失上下文，还常常在谁说了什么、什么时候说的等问题上张冠李戴。

近日，微软亚洲研究院发布了一款通用的语音识别模型 VibeVoice ASR，单次转录可处理长达 60 分钟的连续音频，并能够可靠地生成丰富、结构化的输出，清晰地记录说话者是谁以及其说话时间。作为一种全新的语音识别范式，VibeVoice ASR 将长语音理解视为首要问题，而非用碎片化步骤的简单拼接对其加以处理。

VibeVoice ASR 现已完全集成到 Hugging Face Transformers 生态系统中，并可通过 Microsoft Foundry 模型目录轻松检索。开发者可以使用自己熟悉的工具，轻松进行实验、评估和部署。

VibeVoice ASR 解锁长语音新体验

VibeVoice ASR 颠覆了传统的自动语音识别（ASR） 流程。它不再将语音识别、说话人日志（diarization）和时间戳对齐割裂开来，而是将“转录、识别说话人、打时间戳”融为一体，通过单次推理直接输出结构化结果。

此外，无需机械地将音频切片，模型就能够全局、全盘地处理长录音，从而在整场对话中完美保留全局上下文信息。无论是长达一小时的会议、访谈，还是播客节目，VibeVoice ASR 都可以在保证准确率的同时，兼顾结构化输出的一致性。

图1：VibeVoice ASR 架构概览

五大核心能力

• 60 分钟音频一次性转录：VibeVoice ASR支持单次处理长达一小时的连续音频，完美保留长上下文和说话人一致性，彻底告别手动切片或繁琐的后期结果拼接。

  
  

• 高度结构化输出：结合自动语音识别、说话人记录和时间戳功能，VibeVoice ASR输出的文本不仅准确，而且清晰标注了“谁、在什么时候、说了什么”，只需少量的后期处理即可。

  
  

• 支持自定义热词：在转录请求中，VibeVoice ASR可直接注入特定领域的专业词汇、专有名词或生僻技术术语，大幅提升了垂直领域的识别准确度。

  
  

• 强大的多语言与语种切换：VibeVoice ASR原生支持 50 多种语言，且支持无缝的语种切换（如中英混杂对话），用户无需在调用前手动配置或锁定语言。

  
  

• 统一的、基于大语言模型的架构：巧妙地将声学和语义音频分词器（tokenizer） 与大语言模型解码器相结合，VibeVoice ASR真正实现了具备长上下文理解能力的语音理解。

  
  

性能飞跃，VibeVoice ASR 定义长语音理解新标杆

在包括 AISHELL-4、AMI 和 AliMeeting 在内的五项权威基准测试中，VibeVoice ASR 的性能一致超越了此前领先的闭源多模态大模型。

• 更精准的角色归属：VibeVoice ASR反映说话人归属准确性的 DER（说话人错误率） 降至 3.42%，远优于对比模型的 16.29%。

  
  

• 更一致的时序对齐：在综合评估“谁、何时、说了什么”的 tcpWER 指标上，VibeVoice ASR 以 14.81% 的表现大幅领先，解决了长音频中常见的时间戳偏移问题。

  
  

• 更强大的语言泛化：虽然监督微调（SFT）阶段侧重中英环境，但得益于覆盖 50 多种语言的预训练底座，VibeVoice ASR模型在法语、德语、日语等多语种测试中展现出极强的泛化性。

图2：VibeVoice ASR 在五项公开基准测试中表现卓越

如何快速上手VibeVoice ASR？

目前，开发者和企业团队可以通过以下两种主要渠道探索和应用 VibeVoice ASR：

• Microsoft Foundry 平台：在 Microsoft Foundry 模型目录中直接获取。你可以将其与平台上的其他基础模型并置，进行轻松的评估和一键部署。

• 开源生态 Hugging Face：如果你更习惯开源社区，VibeVoice ASR 已完整支持  Hugging Face Transformers 库。它支持结构化文本输出、自定义热词以及 GPU 加速推理，可非常顺滑地嵌入到你现有的语音处理或智能体流程中。

期待看到大家用 VibeVoice ASR 打造出令人惊艳的语音应用！如果你有任何想法或实践心得，欢迎在留言区与我们分享。

#VibeVoice #语音识别 #大模型