编者荐语
本文介绍了SC-Telco RAG技术通过结构化文档知识提取和针对问答任务的微调，显著提升了大语言模型在通信知识问答领域中的问答准确性。期望能为关注该领域的读者带来思路共鸣和实践启发。本文已被IEEE国际旗舰会议GLOBECOM接收。
基于SC-Telco RAG技术的通信标准知识问答
一
引言
SC-Telco RAG技术在传统RAG的基础上，将文档的结构化信息整合到知识召回的检索过程中，并采用两阶段微调技术增强LLM在通信标准领域中准确回答问题的能力。与传统的RAG相比，SC-Telco RAG采用了一种创新的文档结构化处理方法，根据自然段落和文档标题组织文本，从而创建了一个组织性更强的检索系统，保留了文档的结构和上下文信息。在大模型微调过程中，SC-Telco RAG技术包括两阶段微调，第一阶段微调集中于使大模型适应与通信标准知识问答任务相关的详细指令，而第二阶段则将通过RAG检索到的丰富的上下文信息引入提示中，进一步增强大模型的响应能力和准确性。这种两阶段方法不仅维护了提示中提供的上下文的完整性，而且简化了提示工程的设计难度。
经过通信行业开源数据集测试，应用SC-Telco RAG的技术方案对于1000道通信标准知识问答题的应答准确率达到80.75%，较基线模型提升了35.75%，充分验证了这一创新方案的有效性。此外，SC-Telco RAG技术不仅能够解决LLMs在通信标准领域知识问答的具体任务，还展示了其在知识稽核、智能搜索和在线客户服务等场景中应用的潜力。
二
相关技术
检索增强生成（RAG）和大模型监督微调（SFT）是将大语言模型（LLMs）应用到行业领域的两个主要技术，在通信标准知识问答这个业务场景下，同样需要应用这两项技术。
将预先训练完毕的大语言模型针对具体下游任务进行微调，已成为大模型进行专项NLP任务处理的标准流程。相较于直接利用预训练LLM进行零样本推理等未经调整的应用方式，通过下游数据集对预训练模型进行微调（SFT）能够显著提升任务执行的效能。
然而，随着模型规模的不断膨胀，在普通消费级硬件上实施全参数微调（full fine-tuning）已成为一项挑战，甚至变得不切实际。此外，为每个下游任务单独存储并部署完整的微调模型也带来了高昂的成本，因为这类微调后的模型与原始预训练模型在大小上并无缩减。
为应对这一挑战，近年来学术界和工业界纷纷探索并提出了多种参数高效迁移学习技术（Parameter-Efficient Fine-Tuning, PEFT）。PEFT技术的核心在于，通过极大减少需要调整的参数数量和计算复杂度，从而在保持甚至提升模型对新任务适应能力的同时，减轻对大模型进行再训练的压力。即便在计算资源受限的环境下，PEFT也能有效利用预训练模型的知识储备，迅速适应新任务，实现高效的迁移学习。
PEFT技术的引入，不仅促进了模型性能的提升，还极大地缩短了训练周期，降低了计算成本，使得更多的研究者能够跨越资源门槛，投身于深度学习研究的广阔天地。具体而言，PEFT技术家族涵盖了LoRA、QLoRA、适配器调整（Adapter Tuning）、前缀调整（Prefix Tuning）、提示调整（Prompt Tuning）、P-Tuning及其升级版P-Tuning v2等多种创新方法，为NLP领域的发展注入了新的活力。
通用大语言模型通过海量数据训练，其神经网络权重中蕴含着广博的常识性知识。然而，当面对非训练数据范畴内的知识请求，比如最新资讯或专业领域的独特见解时，这些LLM的输出可能会陷入事实谬误的境地，业界称之为“模型幻觉”。为应对这一挑战，传统做法倾向于通过微调神经网络模型，使之能够精准对接特定领域的专业信息。尽管这一策略效果显著，但它不仅计算成本高昂，还要求操作者具备深厚的技术功底，因而在面对瞬息万变的信息环境时，显得不够灵活应变。
2020年，Lewis及其团队在知识密集型自然语言处理（NLP）领域开创性地提出了一种更为灵活高效的解决方案——检索增强生成（RAG）。这一创新方法巧妙地将生成模型与检索器模块融为一体，后者能够即时调取外部知识源中的补充信息。尤为重要的是，这些外部信息源易于更新与维护，为模型提供了源源不断的信息，极大地增强了其在处理多样化、时效性强的知识请求时的适应性与准确性。一般的 RAG 工作流程如下：
• 检索(Retrieve)：根据用户请求从外部知识源检索相关上下文。为此，使用嵌入模型将用户查询嵌入到与向量数据库中的附加上下文相同的向量空间中。这允许执行相似性搜索，并返回矢量数据库中最接近的前k个数据对象。
• 增强(Augment)：在向量数据库中查询和检索到的附加上下文被填充到提示模板中，增强提示内容。
• 生成(Generate)：检索增强提示被馈送到 LLM作为提示词，LLM根据提示生成应答。
三
技术方案
如图1所示，SC-Telco RAG的技术实现流程主要分为5个步骤：
Step1 结构化文档知识提取：把3GPP通信协议文档构建成结构化的知识树。
Step2 向量数据库构建：遍历知识树信息并向量化，存入向量数据库。
Step3 知识库检索：检索与用户问题相关的文本，并重构检索信息。
Step4 二阶段微调：阶段1微调使用不添加注入知识的语料对预训练大语言模型进行微调；阶段2微调使用添加注入知识的语料对一阶段微调生成的大语言模型进行二阶段微调。
Step5 大模型推理：使用二阶段微调得到的大语言模型生成与用户的提问相关的答案。
图1：SC-Telco RAG技术流程
结构化文档知识提取功能将文档分割成自然段落，并根据文档的标题结构构建文档树，如图2所示。这确保了每个叶子结点都可以根据结构化文档树查找到其对应的章节。对于文档中的表格，首先将表格转换为LaTeX格式。然后使用LLM对表格的LaTeX表示进行摘要和总结，并将其合并到结构化知识库中。这种方法标准化了知识库的文档格式，并确保了大语言模型对表格信息的准确理解。
图2：结构化文档树逻辑图
嵌入模型将文本转换为数字向量，从而在多维向量空间中捕捉其含义和细微差别。利用向量数据库，可以采用相似性搜索从数据库中有效检索与给定查询的向量嵌入在语义上相似的向量。
在知识库检索阶段，基于向量相似性以及关键字，从结构化知识库中检索出若干个与用户问题相关的知识片段，并采用重新排序技术来增强信息检索的相关性。
从图3中可以看出在知识库检索出与用户问题相关的文档后，还需要进行以下操作：
（1）重复去除+节点合并：RAG在切分文档时，存在overlap的操作。当知识库检索到的文本段落属于结构化文档树中同一个子节点，且是原文中连续的文本段，就去除overlap的字符，并把这些段落按照原文的顺序拼接起来。
（2）文本扩充+文本筛选：检索出top-k个与用户问题相关的知识片段时，存在一些段落在知识树中属于同一个父节点，这时就需要根据知识树的结构整合检索出的信息。具体来说，如果与一个问题相关的多个文本共享一个公共父节点，并且该父节点下80%以上的文本被召回，则该节点下的所有文本都将被加入召回的文本中。召回中剩下20%属于其他父节点的文本段落，将根据其与用户问题的相关程度是否达到阈值，来决定是否应该删除。这种方法确保了信息的完整性和清晰度，同时最大限度地减少了冗余。
二阶段微调策略，通过在LLM微调语料中引入知识库检索的信息，将LLM微调和RAG技术相结合。在微调的第一阶段，应用常规方法进行微调，其中模型的输入是用户的问题，输出是相应的答案。这一阶段的主要目标是提高模型的教学依从能力。微调的第一阶段使用原始模型，微调语料库的构建由三个部分组成：指令、输入和答案。在第二阶段，用户在第一阶段的基础上将上下文信息添加到提示输入中。这一目的是使LLM能够理解RAG注入的信息，并有选择地利用RAG检索到的信息。
第二阶段微调使用第一阶段改进的模型。在第一阶段的微调之后，LLM已经证明了对指令的遵守，并且可以在没有额外背景的情况下回答用户问题。通过添加上下文并再次微调LLM，该模型同时获得了指令遵从性和上下文利用能力。如果我们跳过第一阶段，直接使用上下文语料库微调，模型可能会过度依赖上下文，这并不总是有益的。因此，两阶段微调过程对于优化知识问答效果至关重要。与第一阶段相比，第二阶段的快速构建增加了上下文信息。提供给模型的检索次数可以根据LLM允许的上下文长度和块大小来设置。
系统在处理用户问题时，需要先从结构化知识库中检索与用户问题相关的通信标准领域知识，使用通信标准领域知识重构用户问题再输入大模型进行预测应答。
四
实验评估
为了验证SC-Telco RAG技术在通信标准领域的问答能力，我们使用“Specializing Large Language Models for Telecom Networks by ITU AI/ML in 5G Challenge”提供的数据集进行了测试和评估。测试数据集中每一道问题均以JSON格式表示，包含五个不同的字段：问题（Question）、选项（Options）、答案（Answer）、解释（Explanation）和类别（Category）。
实验评估的目的旨在验证SC-Telco RAG架构在结构化RAG和两阶段微调中的性能，为此我们设计了3个实验：结构化文档知识提取技术实验、大模型两阶段微调技术实验和综合实验，并将一些超参数设置为固定值，具体如下：
• 文档切分大小（Chunk Size）：分块大小根据自然段的长度而变化，最大长度为500个字符。对于过长的段落，使用递归方法进行分割。
• 大模型（LLM）：Phi-2 2.7B模型。
• 嵌入模型（Embedding Models）：BGE-M3模型。
• 重排序模型（Rerank Models）：bge-large-en-v1.5模型。
• 索引策略（Indexing Strategy）：FAISS索引。
图4：结构化文档知识提取技术效果测评
实验（1）主要测试单独应用SC-Telco RAG中结构化文档知识提取技术的效果。测试效果如图4所示，当应用Phi-2 2.7B原始模型时，无论是与传统RAG还是SC-Telco RAG结合，问答准确性提升都不大，这表明原始模型难以掌握注入的知识；而且注入的知识使得模型输入过长，从而影响模型对指令的识别，导致产生难以解析的答案。
图5：大模型两阶段微调技术效果测评
实验（2）主要测试单独应用SC-Telco RAG中两阶段微调技术的效果。如图5所示，实验结果表明在没有应用任何RAG技术的情况下，两阶段微调后模型的问答准确率提升了9.21%，这表明原始模型对指令的遵循性有限，而两阶段微调显著提升了模型根据上下文进行判断的能力，同时加强了模型对指令的遵循能力。
图6：SC-Telco RAG技术效果测评
实验（3）主要测试完整应用SC-Telco RAG技术的效果。如图6所示，完整应用SC-Telco RAG同时发挥了结构化文档知识提取技术与两阶段微调技术的优势，知识问答准确率提升至80.04%。同时这个实验也验证了RAG检索到的相关文本数量与模型的上下文长度的相关性。如测试结果所示，模型在检索top 3文本时达到最佳性能。这是因为虽然本实验中原始模型最大允许长度限制为500个字符，top 3文本召回与提示结合后的输入长度刚好接近Phi-2模型的输入字符限制，因此其召回文本中知识的利用率最高。
五
总结展望
面向未来的通信大模型应用需求，SC-Telco RAG技术需要进行进一步优化并与其他RAG技术整合，具体包括扩展知识库、支持多模态数据、实现多语言处理、集成实时数据和提供用户自定义功能，以提高大模型的性能和适用性。此外， SC-Telco RAG技术应用的可扩展性和灵活性也有待改善，以适应通信行业不断变化的需求，并确保与现有通信网络管理系统无缝集成。通过这些举措，我们期望SC-Telco RAG技术成为通信行业大模型应用的关键技术，推动行业向更高效和智能化方向发展。
