快手B端商业化技术探索：基于LLM构建智能RAG与Agent平台

SalesCopilot技术平台

在“三横”结构中，最底层且最为核心的是AI引擎层，这一层是技术平台的智慧大脑，集成了RAG等前沿技术，实现了知识的检索、增强与生成，为上层应用提供了强大的智能支撑。同时，业务意图（Agent）模块作为桥梁，精准对接业务需求与底层AI能力，确保系统的灵活性与适应性。此外，效果评测中心及语义向量相关组件的加入，进一步提升了AI引擎的性能与精确度。

第二层是ChatHub层，它专注于智能客服场景，提供了一个可扩展的框架，用于集成并优化多种智能客服能力。这一设计既满足了当前业务需求，更为未来功能的拓展预留了充足空间。最上层则是业务应用层，它以租户为核心，实现了数据的个性化隔离与业务的灵活定制。每个租户都能在此层构建自己的专属应用，享受定制化的智能服务。而“一纵”则是指贯穿于整个架构的插件框架与多租户框架。这两个框架构成了SalesCopilot平台化的基石，它们不仅保障了系统的稳定性与可扩展性，还使得平台能够轻松应对多业务、多场景的挑战，为技术的长远发展奠定了基础。

深入浅出AI引擎的RAG技术

LLM的局限性

RAG是在大模型应用后，很快被大家识别和接受的技术范式，其独特之处在于对大型语言模型局限性的有效弥补，以下是大模型的局限性：

• 幻觉问题：在自由生成文本时，可能产生与现实不符的“幻觉”内容，影响信息的准确性。

• 知识时效性问题：模型训练成本高昂，且知识库难以实时更新，导致对新信息的反应滞后。

• 记忆容量局限：无状态chat服务，prompt长度有限，当前模型难以保留长记忆。

• 数据安全问题：私域数据参与训练存在不可控安全隐患。

RAG技术链路

业务中的实际应用

在实际应用中，销帮帮智能客服在12个直客行业和渠道业务部中，销售人员覆盖率达到42.8%。在知识管理方面，更是实现了质的飞跃。原本由五人维护的270余篇知识文档，在销帮帮的助力下，下钻扩展至1000余篇，知识库的丰富度与深度均得到了明显提升。此外，机器人的拦截率达到78%左右。多路召回和精排应用实施后，效果提升非常显著，在评测阶段，知识问答平均分百分比提升了70.68%。

在业务实践中，不可避免地会遭遇诸多挑战，这些挑战可大致归为以下几大类：

首先，RAG系统本身便蕴含着复杂性与深度。用户的提问往往泛化而不明确，这类提问初看之下或被视为不佳案例（Bad Case），但深入分析后，实则发现了模型需要增加追问和问题分类理解能力。漏召回与回答准确率的不足，则可通过引入多路召回与精排策略得以有效缓解，进而提升系统性能。最后是领域“黑话”带来的问题，要求我们在垂直领域内深耕细作，积累专业知识。

大模型虽强，却也并非无所不能。其总结能力的不稳定性便是一大痛点，需通过精细调整Prompt来优化。在此过程中，确保拥有可靠的评测工具至关重要，它能确保每次调整都能带来正面效果，避免在解决一个问题时引入新的问题，导致原本表现良好的案例（Good Case）反遭损害。同时，大模型在处理长上下文时的局限性也需我们关注，尝试有限多轮对话的优化路径，以更贴近用户的真实使用场景。

最后是用户需求和当前功能的不匹配。我们发现了一个显著的趋势：用户在与客服交互时，越来越多地采用先图片后提问的方式。这一现象则揭示了用户对于多模态交互的强烈需求。当前功能的局限性与用户日益增长的多元化需求之间，形成了一道亟待跨越的鸿沟。这要求我们不断创新，将图像识别、语音识别等先进技术融入产品中，以满足用户更加丰富的交互需求。

Agent技术的全面解析

Agent的技术链路

在深入探讨我们的Agent实践时，我们已超越了简单的“tool use”范畴，向着更加智能与全面的方向发展。Agent的核心价值，不仅在于其工具性应用的层面，更在于其作为连接业务与用户需求的桥梁角色。它能精准回应用户期待，高效解决用户问题，这一过程中，Agent需紧密集成于系统之中，充分利用业务接口、数据模型等核心资源。

为了实现Agent的高效运行，我们构建了一套接口与意图的schema体系。在schema中，定义了每个业务意图的名称、详尽描述及具体示例（即“shot”），这些信息对于大模型而言，是理解API逻辑、把握业务意图的关键钥匙。在实践初期，大模型在意图识别上的表现不尽如人意。一方面我们优化了Prompt，将若干意图shot融入其中；另一方面我们升级了LLM，部署了qwen2-7b，最后由于Prompt长度有限，我们对意图清单做粗排以支持300+的意图识别，之后整体的意图识别效果得到显著提升。

Agent的意图执行

意图的执行策略涵盖了从简至繁的多种模式，每种模式都针对特定场景需求而设计。最基本的是单Plugin模式，它实现了意图与API的直接映射。在这种模式下，用户的简单需求（如搜索网页、查询天气）能够迅速转化为API调用，直接返回结果。

然而，在复杂多变的业务场景中，这种模式显得力不从心。面对复杂的业务逻辑，如销售场景中查询客户合同进度，这里可能涉及到这个客户是不是合法的、签的是哪个合同、签了多少钱……，我们需要引入多Plugin意图执行能力。这一能力允许我们将复杂的任务拆解为多个子任务，每个子任务由不同的Plugin处理。目前，实现这一能力主要有两种方式：一种是预定义执行逻辑，即在明确意图后，通过人工编排大模型的执行路径；另一种则是大家谈得比较多的ReAct模式，即让AI在推理过程中动态决定执行步骤。虽然推理+执行这个概念特别性感，但稳定性不佳，比如说AutoGPT最好的表现只有50%左右，直接把这套东西推到线上系统是不可接受的。

在业务实践中，有两种意图执行方式。其一，我们采用了自然语言处理技术，直接从用户的言语中精准捕捉其意图，并立即启动相应的执行流程。另一种方式则更为简洁一些，识别到用户的意图后，通过弹出卡片界面的方式进行确认，并快速执行最终任务。

大模型的关键设计与效果评测

另外，关于我们大模型设计的核心理念，主要聚焦于以下三点：

• 可插拔，能根据需求快速替换或更新模型，支持多模型协作，让不同任务调用最适合的模型；

• LSP，LLM Specific Prompt/模型专用提示LLM各有调性，皆有适合自己的Prompt风格；

• 量化LLM，量化大模型通过减少参数精度来降低资源需求，仅少量智能损失可跑高性能跑在CPU上。

在探索大模型驱动的应用研发这一领域时，我们深知自己正置身于一个“不确定性”之中。每一环节，一旦与大模型紧密相连，便无可避免地伴随着效果的波动与不确定性。因此，构建一个高效、精准的评测中心，对于确保系统的可控性与效果的持续提升必不可少。我坚信，评测中心对于大模型驱动的应用研发而言，是不可或缺的基石。它赋予了我们驾驭不确定性的能力，只有如此，我们才能确保系统在不断迭代中稳步前行，真正实现效果的持续提升。