分享与检索增强式生成相关的项目中的一个技术点
也就是在多轮的对话中
当用户提出问题之后
我们是否需要一个专门的步骤
或者说使用一个路由模型来判断用户所提出的这个问题是否需要文档检索
还是不检索文档，由背后的模型来直接回答
那么为什么需要这么一个步骤
举例来说
比如在对话中
用户提出一个问题
“请使用表格或者流程图对上面的内容进行总结”
很显然
用户提出这个问题是不需要去检索文档的
（因为用户这里只是想总结之前的内容）
但是用户提出的这个问题中包含了一些高频的关键词
比如'流程图', '表格', '总结'
而如果我们的系统默认是要去检索文档的
根据这些关键词就会检索到很多无关的文档
然后基于这些无关的文档以及我们之前的上下文来进行回答
很有可能最终的回答就会被这些引入的无关文档带偏
尤其是对于参数量级比较小的模型
比如 7B 14B
那么对于参数量级较大的影响可能比较小
比如你使用的是 DeepSeek 的满血版
那么我们如何决定是否需要增加这样一个路由步骤来判断用户的问题是否需要文档检索呢
这里要考虑两方面的因素
第一 是刚才提到的模型的量级
那么这个决定了模型抗干扰, 抗噪音的一个能力
第二 是要权衡其中的成本以及收益
成本是两方面的
第一, 由于我们单独又引入了一个模型请求来判断问题是否需要文档检索
那么就会增加第一个推理成本
第二, 时间成本一定会增(响应速度延迟)
收益则是经过模型的判断
不需要检索文档的问题会跳过检索步骤从而排除掉噪声(没有引入无关文档)
更好的回答用户的问题
而我们要做决定考虑的就是平衡这两点
当然这里一定会使用一个相对较小的模型来做这个路由模型
同样也是出于推理成本以及时间的考量
这里很重要的一个细节就是用户提出的问题通常不是第一个问题
因为用户在使用基于 AI 的对话功能时
不管是否引入了检索增强式生成
在面对第一个问题时
通常会给出比较完整的问题的上下文背景信息的介绍
所以通常我们默认第一个问题是需要检索的(当然也可以根据实情调整策略)
从第二个问题开始就有可能出现刚才所描述的检索了反而会下降回答质量的情况
所以说在做检索增强式生成相关的功能时
我们需要增加是否使用路由模型以及如何使用的考量
怎么实现就要看项目相关的具体情况
