TEN 框架：轻松实现与 AI 实时语音对话

• 低延时：对话无卡顿感；流式管线 + 并行执行 + 零拷贝通道，端到端响应可达百毫秒级。
• 可打断：内置 VAD、轮次检测与 Interrupt 插件，用户可随时中止 TTS/生成并切换意图。
• 可扩展：模块化/热插拔架构，随时增减 STT、TTS、LLM、工具/RAG 等能力。
• 跨语言：模块可按性能与并发需求采用不同语言实现；框架提供统一的数据协议与接口契约，确保无缝协作。
• 跨平台与边云协同：覆盖桌面端、移动端与嵌入式；本地与云端灵活组合部署，支持弹性伸缩与水平扩展。

• 语音助手与智能家居：自然对话、即时打断、低延时反馈。
• 同声传译与实时字幕：持续音频流与增量输出保证“听得见、看得快”。
• 虚拟形象 / VTuber（Live2D）：通过 Live2D 模型 + 运动追踪，在直播等各种场景中投射你的虚拟形象。
• 嵌入式/边缘场景（例如机器人）：部分功能下沉本地设备，云端负责复杂推理与协同调度。

想获得更全面的 AI 工程化知识？扫描下方二维码加入 赋范空间 免费领取：Agent + RAG + MCP + 数据分析等成体系的教程。实时语音交互 Agent 也即将上架。

• RTC（实时通信）：负责音视频数据的采集、传输与回放，采用令牌鉴权与加密传输。
• STT（语音转文字）：将用户语音流实时转录为文本。
• LLM/工具/RAG：根据上下文与知识检索生成响应或执行工具调用。
• TTS（文字转语音）：将文本响应转为自然语音，支持多语种与风格。
• VAD/Turn-Taking/Interrupt：对话节律与打断识别，驱动“能听、会停、立即应”的体验。

• 流式与增量处理：用户开口即识别、边识别边生成；无需等整句完成再响应。
• 并行执行：多线程/多进程解耦 STT、LLM、TTS、RTC 等关键路径，避免单点阻塞。
• 零拷贝与内存通道：关键数据在同进程间直接传递，减少序列化与内存拷贝开销。
• 优化关键链路：语音输入→转录→LLM 增量生成→TTS 合成流水线并行推进。
• 稳定的 RTC 网络：跨地域低抖动传输，令牌鉴权保障安全，端到端时延更可控。
• 并发管线：单进程多 Agent、跨进程/容器部署，弹性扩容应对高并发场景。

• VAD（语音活动检测）：实时判定说话起止，减少空白等待与误触发。
• Turn-Taking（轮次检测）：识别插话/换手时机，让对话更符合人类节律。
• Interrupt 插件：用户开口时立即打断当前 TTS 或回复生成，切换到新意图或话题。
• TTS 即时中止：正在播报的语音可被安全停止，保障响应的“即时与相关”。
• 对话状态管理：在打断与重入场景中保持上下文一致，避免状态紊乱与重复回复。

• 独立扩展：STT、TTS、LLM、工具、日志/监控、计算机视觉等都以插件提供。
• 热插拔/热替换：不中断服务即可升级或替换模块（如将云端 STT 替换为本地模型）。
• 统一接口与数据约定：跨语言模块使用一致的数据类型与接口契约，降低集成复杂度。
• 多模态协同：音频、视频、图像与传感数据并行处理，一对多/多对多拓扑灵活编排。
• 可视化 Graph Designer：拖拽式连线搭建管线，降低复杂系统的上手难度。

• 跨语言：模块可按性能与并发需求采用不同语言实现；框架提供统一的数据协议，确保无缝协作。例如：用 C/C++ 实现高性能音频处理，用 Python 实现 AI 服务，用 Golang 编排高并发业务。
• 跨平台：Windows、macOS、Linux、移动端及嵌入式设备（如 ESP32）均可落地。
• 边云协同：将隐私相关的采集/初步识别放在本地，将复杂推理放在云端；两侧通过 TEN 管线无缝衔接。

git clone https://github.com/TEN-framework/ten-framework.git
cd ten-framework

cd ai_agents
cp ./.env.example ./.env

AGORA_APP_ID=
AGORA_APP_CERTIFICATE=

# 如果你运行的是默认语音助手示例
# Deepgram（语音转写必需）
DEEPGRAM_API_KEY=your_deepgram_api_key_here

# OpenAI（语言模型必需）
OPENAI_API_KEY=your_openai_api_key_here
OPENAI_MODEL=gpt-4o

# ElevenLabs（文本转语音必需）
ELEVENLABS_TTS_KEY=your_elevenlabs_api_key_here

docker compose up -d
docker exec -it ten_agent_dev bash

cd agents/examples/voice-assistant-realtime
task install
task run