基于LLM的AI客服选车助手

客服介绍

AI客服：利用人工智能技术，为客户提供交互式服务的智能客服系统，主要目的是提高客户服务效率和质量，同时降低企业的运营成本。选车助手是AI客服咨询中的一个子场景。

选车助手概况

上下滑动查看更多

技术背景

- 目前主流商业方案，都是重可控性，轻灵活性，需要客服先配置复杂冗长的流程图和规则，系统严格根据配置执行，导致用戶体验差，转人工率高，增加客服成本。

- 在过去的一年中，大模型技术飞速发展，正在掀起一场技术革命，基于大模型的智能体表现出实现通用人工智能（AGI）的巨大潜力。同时，货拉拉内部也成功自研了货运大模型。

下面是整个选车助手服务的系统架构

图1 客服选车助手系统框架图

服务的系统架构从上到下分为以下几层：

交互层：与用户交互的渠道，包含web、app、小程序等。

应用层：服务相关应用，包含IM后台、websoket网关系统。

逻辑层：对会话进行管理，由DM对话机器人系统控制。

算法层：核心服务层，包含Multi-Agent框架，以及内部机器学习平台（海豚平台）进行模型的管理、发布。

经过线上数据分析，我们发现用户在使用选车助手的过程中，行为不受控制，并不只会根据流程引导来进行答复，用户还会在沟通过程中询问其他信息，如：

如何通过流程引导，将对话主动拉回到主流程也是我们面临的一个难点。此外，用户需要运送的货物多种多样，用户对于货物信息的表达方式也多种多样，导致语义理解困难，这也加大了我们解决问题的难度。

针对上面提到的现状和问题，我们结合大模型来进行客服方向的探索，使用大模型的优势如下：

LLM-based多智能体系统

为了在项目中使用Agent的能力，同时让LLM Agent更可控，本项目通过使用SOP来对任务进行分解，实现对Agent的细粒度控制，并且更容易落地实现。

图2 LLM-based多智能体系统图

使用单一智能体难以完成复杂的任务，因此使用NLG Agent和NLU Agent两个智能体，NLG Agent负责问题回答、工具调用、流程引导，NLU Agent负责对货物信息进行提取。

NLG Agent

当NLG Agent接收到用户的query输入后，首先会对用户的query进行思考，判断用户的query类型，再根据不同的类型执行不同的action，图3为一个示例。除用户的输入query外，NLG Agent还会与Memory，Tools和NLU Agent产生交互。

图3 NLG Agent示例

Memory

图4 Memory模块图

Memory模块储存先验知识，包含通用知识库、FAQs和长短记忆三块。

Tools

图5 Tools模块图

Tools模块负责与外部工具进行交互，包含车型推荐接口、敏感词过滤接口、业务SOP以及流程引导模块。

NLU Agent

客服选车助手的主要任务就是根据用户提供的货物信息准确地推荐车型，因此，就需要对货物的尺寸、重量、运输方式等信息进行收集。然而用户的表达复杂多变，在对话过程中往往存在以下几种情况：

如何准确提取用户提供的货物信息就成了我们面临的难点和重点，NLU Agent就主要负责对用户对话中提及的货物信息进行提取。经典的NLU方法通过命名实体识别（NER）的方式，对货物信息进行提取，需要标注样本进行训练，需要耗费的时间周期长，且存在大量实体嵌套问题，导致效果不佳。

因此，我们使用自研货运大模型进行尝试，最初的Baseline在内部测试集上只有50%的准确率，经过prompt调优，最好的一组也只能达到60%的准确率。经过bad case分析，我们发现模型对某些相似表述的识别效果较差，如“不清楚多重”、“外机700×400×500”等。为了进一步提高货物信息识别的准确率，我们尝试检索增强生成（RAG）技术来帮助模型认识上述bad case。

图6 RAG基本流程图

我们在召回部分采用多路召回的方式，主要使用向量召回和货物名称召回等方式来生成候选集，再对候选集进行排序取top10结果作为上下文传入货运大模型。

经过多路召回RAG后，我们将货物信息识别的准确率提升至80%。

此外，在第n轮对话中，添加上下文（context）也就是n-1轮对话时收集的货物信息作为参考，对模型效果也有大幅的提升。我们还发现对话中一些复杂表述比较固定，而这部分表述模型提取效果一般，我们就加入了一些规则（rules）处理来提升模型效果。最终，我们在内部测试集上的货物信息识别准确率达到90%。

表1 迭代效果对比展示

示例1

上下滑动查看更多

示例2

上下滑动查看更多

       本文阐述了大模型在货拉拉业务中的实践，针对遇到的问题与挑战，我们结合货拉拉内部自研的货运大模型的能力，采用了多智能体的形式，成功实现了基于LLM的AI客服选车助手。未来，我们将持续关注技术优化迭代升级，将大模型能力推广到更多的应用场景中。