亚信科技（中国）有限公司
一、LLM“实习生”问题出在哪儿？
二、运维问答效果增强的四步修炼法
将企业Excel、Word、PDF等各种形式的零散运维文档进行切分，通过Embedding模型向量到数据库中（即将文字信息转换成计算机能够理解和计算的数字），补充LLM“实习生”企业运维知识。实际项目中完成知识向量化导入后，利用cosine相似度进行语义匹配，问答准确率提升15%左右。
仅有知识还不够，我们还需要准确理解用户的问题。基于企业运维问答数据对LLM进行精调，学习企业运维专业术语（如：“卡单”等 ），增强LLM意图理解能力，帮助LLM“实习生”更准确理解用户专业的运维问题，问答准确率提升16%。
首先，通过模型对问题进行细致的分类，从而大幅缩小检索范围，提高答案的针对性；
然后，按照FAQ、切分文档片段、LLM生成答案三个层级逐层递进匹配答案；
最后尤为关键的是，基于运维领域数据对Embedding模型进行微调优化，并对召回的TOP3进行Reranking，提高向量匹配精准度。
经过这一系列精心设计的步骤，LLM“实习生”在实践中的问答准确率大幅提升了25%，效果显著。LLM“实习生”离成为企业运维专家，似乎只差微乎其微的一点点距离了。
三、LLM的华丽转身
经过四步修炼法，这位LLM“实习生”真正做到了懂得多、理解好、答到准且答得好，运维问题回答正确率由30%提升到91%，成为一名名副其实的“企业专属运维专家”，在企业运维领域大放异彩。然而，四步修炼法虽然看似简单，但其背后的参数设置、文档切分、数据处理、模型调优以及模型验证等环节，无一不需要经验丰富的专业团队来保驾护航，才能确保整个修炼过程的顺利进行，呈现最佳效果。
