只需两段声音样本+文字脚本，就能生成自然流畅的双人对话音频，MOSS-TTSD正在重新定义AI语音合成
什么是MOSS-TTSD？
MOSS-TTSD（Text to Spoken Dialogue）是一款由上海创智学院、复旦大学和模思智能的OpenMOSS团队联合开发的开源双语对话语音合成模型。它打破了传统TTS只能生成单句语音的限制，能够直接将文本对话脚本转换为自然、富有表现力的口语对话。
无论是中文还是英文，无论是克隆名人声音还是生成虚拟角色对话，MOSS-TTSD都能轻松搞定。它具备零样本双人语音克隆和长文本语音生成能力，其出色的对话合成效果甚至可以与商业解决方案相媲美。更重要的是，它完全开源且支持商业使用，让每个人都能享受到顶尖的语音合成技术。
在线体验
想亲身体验MOSS-TTSD的神奇效果？访问官方Hugging Face Space即可在线尝试：
https://huggingface.co/spaces/fnlp/MOSS-TTSD
https://www.open-moss.com/cn/moss-ttsd/
核心亮点
1. 突破"恐怖谷"的自然对话
MOSS-TTSD基于统一的语义声学神经音频编解码器、预训练大语言模型，以及数百万小时的TTS数据和40万小时的合成与真实对话语音进行训练。它能够生成富有表现力、接近人类的对话语音，准确捕捉对话中的韵律变化、情感起伏和语调特性，突破了AI播客的"恐怖谷"效应，让AI播客听起来不再生硬。
2. 只需3秒音频，克隆任何人的声音
MOSS-TTSD支持零样本双人语音克隆，只需两段3-5秒的声音样本，就能精准克隆两个人的音色。更神奇的是，它能根据对话脚本自动切换说话人，生成听起来像真实聊天的音频。无论是模仿名人声音，还是为虚拟角色创建独特声线，都变得前所未有的简单，让播客制作、影视配音等场景的成本大幅降低。
3. 中英双语无缝切换
无论是中文的抑扬顿挫，还是英文的流畅韵律，MOSS-TTSD都能完美驾驭。它支持中英文双语混合对话，自动识别语言并调整发音特点，完美处理不同语言的发音规则，让跨语言播客制作变得轻而易举。
4. 16分钟超长语音，一口气说完长篇内容
得益于低比特率编解码器和训练框架的优化，MOSS-TTSD能够支持长达**16分钟（960秒）**的连续语音生成。无论是制作完整的播客节目、有声书章节，还是长篇访谈，都无需分段处理，完全满足长内容的制作需求，大大提高了制作效率。
5. 完全开源免费，商业使用无限制
MOSS-TTSD的所有模型权重和推理代码均已开源，并且支持免费商业使用。无论是个人创作者还是企业团队，都可以基于它开发自己的语音应用，无需担心版权问题，为创新提供了无限可能。
应用场景
🎧 播客制作
传统播客制作需要邀请嘉宾、预约录音棚、后期剪辑，耗时耗力。有了MOSS-TTSD，只需将文字脚本输入，就能生成高质量的双人对话播客，成本降低90%以上。
🎬 影视配音
为动画、短视频等内容配音时，MOSS-TTSD可以快速生成多个角色的对话音频，还能根据剧情调整语气和情感，让角色更加生动。
🤖 数字人对话
为虚拟主播、数字人提供流畅的对话能力，使其能够与观众进行自然交互，提升用户体验。
📚 有声书创作
将小说、故事等转换为多人对话形式的有声内容，让读者仿佛身临其境，提升内容的吸引力和传播力。
👨🏫 培训材料
制作互动式培训课程和教学内容，通过对话形式讲解知识点，提高学员的参与度和记忆效果。
技术解析
MOSS-TTSD基于Qwen3-1.7B-base模型进行续训练，采用离散化语音序列建模方法，核心技术包括：
• XY-Tokenizer：高效音频编码器，将原始音频量化为低比特率（1kbps）的离散表示，同时保留语音的语义和声学信息 • 自回归建模：通过语言模型对离散化的语音单元进行建模，实现自然的语音生成 • 多模态融合：结合文本语义和声学特征，生成富有表现力的语音
简单来说，MOSS-TTSD就像一个"语音导演"，它不仅能理解文字内容，还能把握对话中的情感和节奏，最终生成自然流畅的语音。
快速开始
环境准备
# 创建conda环境
conda create -n moss_ttsd python=3.10 -y
conda activate moss_ttsd
# 安装依赖
pip install -r requirements.txt
pip install flash-attn # 可选，加速模型运行下载模型
# 下载XY Tokenizer
mkdir -p XY_Tokenizer/weights
huggingface-cli download fnlp/XY_Tokenizer_TTSD_V0 xy_tokenizer.ckpt --local-dir ./XY_Tokenizer/weights/运行推理
python inference.py --jsonl examples/examples.jsonl --output_dir outputs --seed 42 --use_normalize
项目地址
GitHub: https://github.com/OpenMOSS/MOSS-TTSD
官方文档: https://www.open-moss.com/cn/moss-ttsd/
立即体验
🔍 在线试用
不想动手部署？可以直接访问官方Hugging Face Space在线体验：
https://huggingface.co/spaces/fnlp/MOSS-TTSD
🚀 本地部署
想要获得更好的体验？按照前面的"快速开始"教程部署本地版本，享受更强大的功能和更快的速度。
🌟 项目地址
GitHub: https://github.com/OpenMOSS/MOSS-TTSD
官方文档: https://www.open-moss.com/cn/moss-ttsd/
无论是播客创作者、内容制作人，还是开发者和研究人员，MOSS-TTSD都能为你带来前所未有的语音合成体验。立即下载使用，让AI为你的创意增添声音的魅力！
