目录
一、智能客服当下的痛点
二、智能客服 Agent 落地的必然性与挑战
1.Agent 智能客服的必然性
2.Agent 智能客服的挑战
三、客服 Agent 多轮协商优化（高可控性 PE 自动化）
1.单场景架构演进
2.跨场景 Harness 架构
3.数据飞轮：PE 自动化与模型训练
四、RL 决策训练：让 Agent 学会"正确决策"
1.训练框架
2.实验
五、情感温度：人类经验对齐模型蒸馏
1.服务测评标准
2.模型蒸馏训练
3.人工对齐效果
六、多轮消息流控制：半双工对话逻辑设计
1.消息收发模式
2.多消息处理策略
七、总结与展望
1.本次实践总结
2.未来展望
一
智能客服当下的痛点
听不懂人话、自作聪明：无法准确理解用户意图，频繁答非所问。
成本高、排队严重：高并发场景下人力无法覆盖。
问题解决能力弱：只能处理简单 FAQ，复杂多轮问题无能为力。
二
智能客服 Agent 落地的必然性与挑战
Agent 智能客服的必然性
传统结构存在上限：意图分类 + NER + 对话管理 + FAQ 召回 + 重排的流水线架构，无法处理多步骤任务，上下文衔接不畅。
SOP 人工维护成本高：场景问法无法穷举。多模型运维成本高：多套小模型分头部署，“牵一发而动全身”，运维成本极高。会话拟人度 / 流畅度不佳：出话单一，无法复刻优秀人工的决策和话术能。
Agent 智能客服的挑战
场景复杂指令优化成本高：场景复杂，知识流程繁琐，长尾 case 的 PE 优化成本高。长 Context 多轮能力不足：结合用户多样性需求和长历史上下文的多轮决策 / 协商挑战较大。对齐人工拟人化能力不足：人工回复多样性高，昵称 / 话术 / 表情 / 模态运用灵活，需要 “人工辅助 Agent”。多轮半双工下消息控制：推理时长较长，半双工环境下，消息打断 / 上下文话题切换，控制难度较大。
三
客服 Agent 多轮协商优化（高可控性PE自动化）
单场景架构演进
第一阶段：Single-Agent（单 Prompt）
基于 Qwen 的 Single-Agent 架构，问题在于：
Prompt 过长，模型指令遵循能力有限。
串行 Pipeline 无法实现 Agent 多轮 ReAct。
第二阶段：Multi-Agent（渐进式披露）
采用 AutoGen 的 Multi-Agent 架构，引入：
总控 Agent：负责任务调度与流程管控。
出话 Agent：负责生成最终回复话术。
评估器 Agent：对输出质量进行实时评估。
润色 Agent：提升回复的自然度和拟人感。
通过 `SelectorGroupChat` 模式实现动态调度，解决率提升明显。
跨场景 Harness 架构
为解决跨场景复用问题，进一步演进至 Harness 架构，核心能力包括：
跨会话 Memory：支持用户历史上下文记忆。
上下文压缩与轨迹压缩：有效管理长对话。
总控 Agent 管理：提高回复可控性。
数据飞轮驱动模型持续优化。
Skill 自动化生成（进行中）。
数据飞轮：PE 自动化与模型训练
PE 自动化优化
人工 Prompt Engineering 存在明显痛点：时间成本高。多个 case 引发 Prompt 冲突与歧义。Token 成本和指令遵循能力有限。
为此，我们构建了 PE 自动化流水线：对比数据抽取：LLM 抽取转人工 case 中 Agent 回复（Bad）和人工回复（Good）。PE 修改建议：LLM 分析 Prompt 修改建议。人工 Review：人工标注 check 是否可行。离线跑测：合并修改建议，跑测同批数据。上线实验：积累数据，持续优化。
效果验证：
数据飞轮-模型训练
通过 DPO 模型训练飞轮，利用 “LLM-as-a-Judge” 搜集回流数据并重新训练：
能否回复判别模型。
回复正确性模型。
是否拟人判别模型。
构造 chosen 和 reject 样本。
训练润色模型。
四
RL 决策训练：让 Agent 学会"正确决策"
训练框架
RL 训练框架分三大模块：
数据基建
线上反馈数据采集，策略埋点构造 Multi-turn RL 训练数据。
专家模型生成决策理由，进行 CoT-RL 训练。
MCP Server 部署实时 Tools 调用。
模型训练
Cold-start SFT 预热。
可验证奖励：Rule-Based-Reward。
生成式奖励：Model-Based-Reward。
GRPO 训练。
评测体系
LLM-as-a-Judge。
人工评测。
用户模拟器一致性评测。
对抗 Reward Hacking
优化 Reward。
解决数据有偏问题。
增加思考过程 - CoT 训练。
训练效果对比
实验
消融实验
不同 epoch 对比。
不同 cold-start sft 底座对比。
不同 lr 对比。
业务干扰度消融实验
A 业务。
B 业务。
A 业务 + B 业务。
RL 训练减少灾难性遗忘
测试标准：C-Eval、CMMLU
规避方法：
降低学习率（全量训练 ≤ 5e-5）。
通过 eval-step 实时监控通用基准指标。
限制训练 2~4 epoch。
数据比例控制：模型自推理 VS 模型依赖 Tool 调用 = 1:1。
五
情感温度：人类经验对齐模型蒸馏
服务测评标准
建立了完整的百分制测评体系：
模型蒸馏训练
三种训练模式协同工作：CoT-RL 策略蒸馏：蒸馏优秀客服的决策逻辑；DPO 话术蒸馏：对齐对话语气、减少重复、规范表情包和称谓使用；表情模块：表情分类 + 语境分析，精细化控制表情使用时机。
表情分类体系：开场欢迎 / 积极开心 / 思考疑惑 / 抱歉安抚 / 提醒强调 / 期待等待 / 完成确认 / 正在努力 / 物流配送 / 价格优惠 / 对接售后 / 结束感谢。
人工对齐效果
模型评分接近 Top5% 优秀人工水平。
六
多轮消息流控制：半双工对话逻辑设计
消息收发模式
智能客服场景特殊性：用户可随时发送消息（全双工），但 Agent 回复期间不应被打断（半双工）；用户→Agent：全双工，可打断；Agent→用户：半双工，不可打断。
多消息处理策略
为实现精准的消息合并/切分判断，训练专用分类模型：
数据采集：拉取线上用户连续消息进行标注。
数据增强：负样本 LLM 扩写。
模型训练：Qwen3-4B 分类训练。
七
总结与展望
本次实践总结
本次分享围绕以下核心技术展开：客服 Agent 挑战与架构设计（Single-Agent→Multi-Agent→Harness）；高可控性数据飞轮（PE 自动化 + DPO 训练）；RL 策略训练和人工经验对齐；多轮半双工消息流控制。
未来展望
