智能客服

AI Agent应用 | 私有化部署“智能客服”系统

2025 年 1 月 21 日

AI Agent 应用，私有化部署“智能客服”系统，探索业务与技术新可能，这是小贤看到的关于此领域最好的建议，没有之一。核心内容： 1. 私有化部署的意义 2. 主要工具介绍 3. 知识库训练与聊天效果展示

“AI Agent应用探索，以实际应用场景作为背景进行简单路径实现，并对应用场景下进一步深度应用，分别从业务和技术层面展开研究探索；先发散进而总结、整合、提炼出AI Agent。”

智能客服应用广发展的成熟，回答问题聊天不是目的，通过客服将业务系统链接起来，业务更高效、服务更精细；客服不仅仅针对客户，是对全业务链的服务。

—

私有化部署的意义

1，不用担心知识库泄露，

2，部署在移动设备上可以离线使用

3，方便内部业务系统打通

4，成本低

—

主要工具

RAGFlow是一款基于深度文档理解构建的开源 RAG（Retrieval-Augmented Generation）引擎。RAGFlow 可以为各种规模的企业及个人提供一套精简的 RAG 工作流程，结合大语言模型（LLM）针对用户各类不同的复杂格式数据提供可靠的问答以及有理有据的引用。

Ollama 是一个开源的大模型管理工具，它提供了丰富的功能，包括模型的训练、部署、监控等。通过Ollama，你可以轻松地管理本地的大模型，提高模型的训练速度和部署效率。

Qwen2.5是阿里通义千问团队最新开源的最强AI大模型，具有多种参数规模的模型，包括0.5B、1.5B、3B、7B、14B、32B 和72B。模型在预训练时使用了最新的大规模数据集，包含多达18 万亿个tokens，Qwen2.5 在自然语言理解、文本生成、编程能力、数学能力等方面都有显著提升。

Docker 是一种轻量级的虚拟化技术，同时是一个开源的应用容器运行环境搭建平台，可以让开发者以便捷方式打包应用到一个可移植的容器中，然后安装至任何运行Linux或Windows等系统的服务器上。

—

知识库训练

支持多种文件类型，如文档、图片等。上传后，RagFlow会对文件进行处理，提取文本内容并生成向量表示。

—

聊天效果展示

法律咨询聊天，只训练了一个“劳动法”文件

医疗咨询聊天，训练了6个QA问答文件，内容比较大，用了一天的时间，效果比较好；

—

后续研究

1，和业务系统打通，回答内容整合业务数据；

2，业务逻辑编排，根据聊天内容进行工作流编排和执行；

3，用户情绪价值判定，根据情绪价值执行工作流；

4，语音输入与输出；

5，自我学习能力；

6，营销能力；

7，数字人；

立即咨询 JOTO

JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务，帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。联系 JOTO 获取 AI 落地咨询

留下你的场景和痛点,我们帮你判断从哪一步开始。