一、应用场景概述：聚焦用户热点问题
热点问题处理：在特定时间段内，用户频繁提出并需要快速解决的高优先级问题被称为“热点问题”。处理这些问题时，系统需要能够识别出问题的集中性并进行批量处理，以减少重复性工作并提升处理效率。
情景搜索：情景搜索是指系统根据用户的具体情境和问题背景进行的搜索过程。通过分析用户的问题背景和语境，系统能够提供更符合当前情景的个性化答案，这不仅提升了问题解决的准确性，也增强了用户体验。
智能客服：智能客服不仅要能够解答常见问题，还需要具备处理复杂问题和上下文理解的能力。智能客服系统通过与大模型和语义搜索的结合，能够模拟人工客服的思维方式，提供更为自然和贴心的服务。
二、能力支持模块：多层次智能化支持
1、聚类服务：识别与分类用户问题
聚类服务模块的设计初衷是通过自动化的方法，将海量用户问题按照内容相似性进行分组，并针对这些分组结果提供相应的处理策略。其核心流程如下：
任务配置：系统允许管理员根据不同的业务需求配置聚类任务。这些任务配置定义了聚类的规则、参数以及所需处理的数据样本来源，为后续的聚类过程奠定了基础。
圈法取数：在任务配置的基础上，系统会自动从数据源中提取符合条件的数据样本。这些样本将被用于训练模型，以识别和分组用户的热点问题。
长向量提取：聚类的第一步是将用户的文本问题转化为可以被机器学习算法处理的向量形式。为此，系统使用了Python工具，利用自然语言处理技术提取每个问题的长向量表示。
k均值聚类：在获得问题的向量表示后，系统使用k均值（K-means）聚类算法对这些问题进行分组。K-means算法通过将数据点划分到k个组中，使每个组内的点与其中心的距离最小化，从而实现对相似问题的分类。
聚类结果入库：一旦聚类完成，结果将被存储在聚类结果库中。这一过程确保了后续步骤能够快速访问和利用这些分类信息。
补全关系：系统不断更新和补充聚类库。当新问题出现时，系统会将其与现有的聚类结果进行比对，以确定其所属的类别或生成新的分类，确保未覆盖的热点问题也能得到有效处理。
向量检索：当有新问题进入系统时，聚类服务会通过向量检索技术，寻找与新问题最相似的已有问题。这样，系统能够快速找到相关解决方案，提升问题处理的效率和准确性。
2、语义搜索-CVP：精准匹配与结果优化
用户问题查询拆分：当用户输入问题后，系统首先会对问题进行查询拆分。这一步骤的目的是提取出问题中的关键部分，使得后续的匹配过程更加精准。
精确匹配：在完成查询拆分后，系统通过语义分析技术对问题进行精准匹配。系统会将用户问题的核心内容与数据库中的已有解决方案进行比对，以找到最合适的答案。
文本召回：文本召回过程包括两个步骤：
ES关键词匹配：系统使用Elasticsearch（ES）进行关键词匹配，快速筛选出可能相关的文档或解决方案。
数据库匹配：在ES关键词匹配的基础上，系统进一步在内部数据库中进行匹配，以找到与用户问题最贴近的解决方案。
向量召回：在文本召回的基础上，系统还通过向量召回进一步优化匹配结果：
场景识别：系统会根据问题的上下文识别出用户问题的具体场景。特别是在情景搜索中，场景识别能够帮助系统理解用户的特殊需求并提供个性化的解答。
意图识别：通过分析问题的语义内容，系统可以判断用户的真实意图。这一功能在智能客服中尤为重要，它使得系统能够模拟人类客服的应对方式，给出更加自然的回答。
相似度检索：通过向量相似度检索，系统可以在数据库中找到最接近用户问题的解决方案，从而提高匹配的准确性。
MMR/SVM算法优化结果多样性：在初步匹配完成后，系统使用MMR（最大边缘相关性）和SVM（支持向量机）算法进一步优化结果的多样性。这一过程确保系统能够提供多个可能的解决方案，以应对不同场景下的用户需求。
结果排序：在生成匹配结果后，系统会根据信息源的优先级、Prompt（提示词）的设计以及大模型（如GPT）的生成能力，对结果进行排序，最终为用户提供最为精准的答案。
三、数据处理：确保数据高效流转与处理
数据提取：系统从多个数据源中提取用户问题数据，包括SCRM业务数据、聊天数据、外呼数据等。这些数据经过初步的清洗和预处理后，提取出关键信息，如关系、场景和标签。
向量化处理：为了使得数据可以被聚类和语义搜索模块处理，系统使用text-embedding-ada-002模型将文本数据向量化。向量化后的数据能够更加准确地表示文本的语义特征，并且方便后续的向量检索和相似度计算。
关系构建：在数据向量化后，系统通过Milvus库建立数据索引，这一步骤使得向量检索更加高效。索引建立后，系统能够快速查找到与用户问题相关的历史数据，从而提高问题匹配的效率和准确性。
四、数据来源：多样化的信息支持
MySQL数据库：主要用于存储SCRM（客户关系管理）业务数据，包括客户互动记录、交易信息等。这些数据为系统提供了详尽的背景信息。
聊天数据：包括用户与客服之间的对话记录，系统通过分析这些对话数据，提取出用户的问题和需求。
外呼数据：来自呼叫中心的通话记录，这些数据能够反映出用户的实时需求与问题。
五、结果展示：多样化的解决方案呈现
文本展示：系统可以生成详细的文字说明，帮助用户理解解决方案的细节和步骤。
词云：通过词云的形式，用户可以快速识别出热点问题的核心内容和关键词。
文件展示：系统支持将解决方案以文档形式提供，方便用户保存和查阅。
视频展示：对于复杂的问题，系统可以生成或推荐相关的视频教程，以直观的方式帮助用户理解。
