淘宝直播数字人：LLM弹幕互动技术

在数字人直播中，弹幕互动不仅仅是观众输入文字的一种方式，它是维持和增强用户体验的关键机制。通过良好的弹幕互动设计，数字人直播能在娱乐、信息传达和用户参与度之间找到平衡，从而提升整体直播质量和商业潜能。为了实现实时互动的功能，目前我们有两种弹幕互动的形式：一种是在直播间弹幕区通过用文本展示回复，另一种方式是把回复的内容通过TTS和唇驱让数字人口播。由于两种方式对于资源的要求和耗时的不同，口播回复在资源更充足的旗舰版上主推，其余版本主要采用文本展示回复的形式。具体的问答示例如下：

商品问答	闲聊	推荐

互动架构总览

互动整体架构上主要包含以下模块：

• 预置库匹配模块：使用弹幕信息进行FAQ问答预置库的检索，如果命中商家配的预置库就不会进入意图识别流程，直接使用命中预置库作为意图，以预置库中配置答案进行回复。匹配算法为嵌入向量模型匹配召回，重排模型筛选。

• 意图识别模块：未命中预置库情况下，使用弹幕、历史对话和直播间状态进行意图识别，确认弹幕的实际意图，不同意图对应着后续的不同逻辑。

• 实体解析模块：多轮商品实体识别模块的功能是根据用户的历史对话以及识别的意图，解析出相关的商品名称、商品属性或链接号等。

• 检索模块：

• 如果意图为链接号商品问答/讲解则使用链接号检索需要的商品信息；

• 如果意图为无主语商品问答则直接使用当前讲品信息作为检索结果；

• 如果意图为商品问答/讲解则使用当前弹幕作为query在向量库中查询最匹配商品作为检索结果。

• 生成模块：在检索信息确认后，将检索信息、观众弹幕和历史对话插入到不同任务下的Prompt模板中，输入到LLM模型进行回复的生成。Prompt模板分为闲聊、商品问答和优惠问答三种。

• 讲解顺序调整：如果意图为商品讲解或者链接号讲解，将不会使用LLM生成回复，而是调整讲解顺序，使用固定话术进行回复。

多轮意图识别模块

▐  背景与挑战

自去年12月以来，我们着手研发多轮互动大型语言模型（LLM）以提升观众与主播之间的互动体验，从而避免因单轮对话中AI身份暴露而导致的用户兴趣流失。在这个过程中，我们遇到了两大挑战。

• 首先，我们需设计一个合理的多轮对话架构，并通过数据积累以实现预期的互动效果。

• 其次，我们面临对现有意图识别模型的改进。我们的旧模型利用当前弹幕进行意图分类并积累了大量数据，而新挑战在于如何有效整合这些数据并兼容新增能力。

为此，我们开发了一个适用于直播数字人的多轮对话框架，以支持全面的多轮问答。同时，我们创新性地定义了新的意图识别输入输出范式，不仅拓展了输入范围（包括系统指令、直播间产品信息和观众弹幕），还采用LLM替代BERT作为基座模型。在多轮意图识别实验中，我们的模型表现优异，相较于DeepSeek-R1准确率更高（我们的模型精度为80%，而DeepSeek-R1为71%），并显著超越了在相同数据集上训练的BERT模型。

▐  多轮互动架构

• 在每轮对话开始前，绿色框中内容会被输入到意图识别模型中进行意图识别。

• 确认意图后，会根据意图决定检索方式以及系统指令。

• 检索到对应意图下的信息后，虚线框中内容会作为输入输入到互动生成LLM中生成新一轮的主播回复。

• 意图分类

  
  

• 意图类型经历过两次变更：

• 2024年7月：新增商品推荐意图、直播间优惠问题意图

• 2025年1月：将商品推荐意图、商品查询意图合并入商品问答意图

• 实际效果

▐  多轮意图识别模型

• 单轮意图识别模型使用观众弹幕作为意图识别模型的输入，使用BERT进行序列分类，输出意图label_id。

• 多轮意图识别使用直播间讲品、历史对话和观众弹幕作为意图识别模型的输入，使用LLM进行分类，直接输出意图label。

• 训练数据构建

1. 使用单轮意图模型和DeepSeek-V3在清洗后的20k量级数据上分别进行预测，仅保留预测结果不一致的数据。（预测一致的数据靠原有的单轮数据就可以补充其分类能力）

2. 再次清洗，筛去不合规弹幕数据，比如偷跑弹幕数据（实际弹幕是在和真人对话但是是开的数字人直播）、刷屏数据，这一步人工筛选。

3. 送标，交由标注人员进行标注。

4. 算法RD逐条检查标注结果，人工筛掉那些人为难以分辨、理解的数据，最后保留3000+条多轮意图识别数据。

• 实验&case分析

• 相比于单轮意图难判断很多，每条数据可能需要半分钟到一分钟来确定真实意图是什么

• 目前的输入源[当前直播间讲品信息, 与观众的历史对话, 观众当前弹幕]完全足以判断观众的真实意图

• 存在的模糊空间比单轮意图更大，基于上下文也许既能提取到观众问的链接号也能提取到观众想问商品的关键词，还有可能观众之前问的品通过调整顺序之后现在就在讲，但是这种case其实分错了，后续也能回答对

Good Case分析

多轮对比DeepSeek-R1结果分析

• DeepSeek-R1会在长尾边界问题上给出错误的意图分类结果，无法单纯通过调prompt来解决分布广泛的长尾边界问题。

• 但依赖数据驱动的SFT模型可以解决这类广泛的长尾边界问题，并且可以在后续的优化中通过大量标注的线上数据进一步提升性能。

• reasoning实验

• 为了探究是否可以将R1的reasoning能力注入到意图识别模型中，我们使用R1根据标签意图生成了cot部分的数据，并使用带有cot的标签数据对LLM进行训练。

• 生成的cot部分标签稀释了真实标签导致效果反而不如直接输出真实标签的训练格式

• 在开放标签空间下使用R1标注会有良好的效果，但是如果在本身就有真实标签的情况下使用R1进行reasoning的标注反而会不及预期

实体解析模块

多轮商品实体识别模块的功能是根据用户的历史对话以及识别的意图，解析出相关的商品名称、商品属性或链接号等。

核心挑战：需处理历史依赖、数字干扰、商品泛化等复杂场景。

• 输入：用户当前弹幕+历史对话记录+识别的多轮意图

• 输出：结构化提取以下三类实体：

• 商品实体（特仑苏纯牛奶）

• 商品属性（2匹/39码/iPhone15）

• 链接号（107号/39号）

  
  

▐  训练数据

数据源使用和意图识别同一批的训练数据，保留商品问答、商品讲解、链接号商品问答、链接号商品讲解数据，使用DeepSeek-R1（测试集上准确率最高）+人工过滤的方式得到2100条高质量多轮商品解析数据。

▐  数据增强

数值歧义

链接号会受到对话中数值信息的干扰，导致解析结果错误，需要提升模型对数字的敏感度。以下是三类干扰类型：

我们使用DeepSeek-R1进行二阶段数据生成，先生成干扰类型，再根据干扰类型生成对话样本，有效提升数据多样性。

商品泛化

如果对话历史中出现具体商品，模型会错误提取为具体商品，而用户问的是泛化商品。例如：

用户问：哪个牛奶有活动 -> 模型错误提取：特仑苏纯牛奶

我们生成泛化类型商品，主要包含以下三种：

我们先人工标注一批商品，用DeepSeek-R1扩展商品池后再结合商品类目生成对话样本。

历史噪声

当历史对话中的商品与用户当前弹幕中的商品冲突时，会解析成对话历史中的明确商品，需要生成对抗数据，提升模型抗噪声能力。我们总结概括了以下问题类型：

我们使用DeepSeek-R1先生成存在不同问题类型的商品对，再根据商品对生成对话样本。

▐  实验&case分析

训练方法：我们使用7B的底座模型进行LoRA微调

评测指标：计算预测item和实际item字符串2-gram的Jaccard相似度，正确阈值设置为0.7，最终指标使用accuracy。

• 表示表示字符串S的2-gram集合

商品信息检索模块

• 每次检索宝贝口袋商品时，首先和实时宝贝口袋商品进行同步，输入商品信息，使用BERT计算上下文向量，新增向量库中没有的向量，剔除不存在于宝贝口袋的商品向量。每一条向量对应一个itemId。

• 同步完实时宝贝口袋后，使用BERT计算查询向量，找到相似度最高的商品后，再使用商品信息和弹幕信息进行BM25在词频程度上进行精排，最后根据词频-语义混合过滤得到最终的检索结果。以商品信息列表的形式返回。

• 通过添加词频精排模块可以有效解决短query难召回的问题。

回复生成模块

▐  生成任务定义

• 闲聊：根据历史上下文和观众当前弹幕对观众进行回复

• 商品问答：根据商品信息对用户弹幕进行回复，包括推荐、查询等

• 直播间优惠问答：

• 如果商家配有直播间优惠，会根据直播间优惠信息对用户弹幕进行回复，包括推荐、查询等。

• 此外，如果没有配直播间优惠或者直播间优惠信息无法回答观众问题，会采用通用的优惠话术，包括优惠券、红包、国补等。

▐  互动LLM模型训练数据

▐  互动模式区分

• 弹幕版：直接对观众进行回复；不对数字和英文进行正则化；限制为60字（弹幕回复框限制）。

• tts版：首先对观众的弹幕进行简单复述，让观众知道在和他对话；对数字和英文进行正则化，便于tts生成；无字数限制。

• 模式区分实现方式：

• 弹幕版：从原始数据中使用LLM删去复述观众弹幕部分。

• tts版：对原始数据正则化处理。

• 使用系统指令区分两个版本的数据。

• 两种模式带来的问题：

• 同一个样本可能会在训练过程中被训练两次，导致过拟合。

• 解决方案：

• 在分模式前就分好训练、验证集，避免同一条原始数据的不同模式分别出现在训练、验证集当中导致验证集失效。（否则会导致eval accuracy飙升至95%以上，通常生成任务下微调LLM的收敛时eval accuracy为70~80%比较正常）

• 观察learning curve调整学习率，并使用eval loss最低的checkpoint作为模型训练的结果。

总结&规划

过去一年我们搭建了数字人直播间的弹幕问答框架，从最初的商品问答逐渐扩展到能够覆盖直播间80%+有效意图的阶段，后续为了更好的服务数字人直播用户，我们会以提升整体问答满意度效果为指标，并结合多模态融合、千人千面等产品方向，为用户呈现一个有问必答，回答质量在某些维度甚至能优于真人的智能互动：

1. 千人千面的专属直播间，对每个用户提供个性化的贴心服务，能够发挥AI相对真人的优势；基于用户画像分析用户的偏好，让用户感受到VIP级的待遇。

2. 区别于其他形式的互动问答，数字人直播间的弹幕跟直播间画面和数字人文案是强相关的；因此将文案信息和直播间caption信息融合，获取用户进入直播间视角的信息，对于帮助理解用户query预期有较大帮助。

3. 由于直播场景下涉及大量底层数据，如何有效的组织和存储相关数据，并做到知识冲突检测等很重要。因此后续我们将探索引入知识图谱，基于GraphRAG的技术方案实验，提升问答的准确性。

4. 问答展示形态和多模态信息融合，在真人对直播间问题给出回复时往往也会展示产品细节，因此我们希望从多模态素材理解出发，问答过程中使用和展示合适的素材，对于扩展有效信息输入和直播间形态也有较大帮助。

5. 从真人直播理解出发，沉淀真人主播如何给出的弹幕回复框架和逻辑，以及其他主动交互形态，解决用户问题从而促成单用户的购买转换。