OpenRAG：全面增强RAG推理，超越Self-RAG、RAG 2.0、Command R+

OPEN-RAG中的推理流程。它学习生成检索/不检索标记，对比相关和不相关上下文，并将答案归类为部分支持、完全支持或不支持。然后在推理时，给定一个（多跳）用户查询，首先强制模型在输入条件为不检索的情况下生成答案，并根据模型的置信度动态决定是否需要检索。

OPEN-RAG推理流程

• 检索/不检索：模型学会生成检索/不检索的标记，以指示是否需要检索来回答查询。

• 相关性评估：对于检索到的内容，模型生成相关性标记，指示内容是否与查询相关。

• 生成答案：根据预测的相关性、支持度和效用标记，对所有可能的答案进行排序，生成最终答案。

在各种知识密集型的单跳/多跳短文/长文推理任务上，基于Llama2-7B的OPEN-RAG在事实准确性和推理能力方面显著优于现有的开源RAG模型，并且常常匹配或超越了最先进的专有LLMs及其RAG模型。

1. 自适应检索策略有效：

1. 信心评分：模型在推理时生成检索/不检索的反射标记，并计算输出序列在强制不检索设置下的信心分数。

2. 阈值控制：通过调整阈值γ，可以控制检索的频率。如果模型信心分数低于阈值γ，则触发检索。

2. 信心评分重要：fmeanp（几何平均概率）作为信心评分方法，相比于fminp（最小概率）和fret（外部模型预测的反射标记概率），在所有数据集上都显示出更稳健的性能。

3. 性能与检索平衡：在某些任务中，过高的检索频率并不总是最佳选择；自适应检索可以在适当的时机使用检索，从而在各种检索频率下都取得较好的性能。

（上）不同自适应检索策略的性能对比检索。（下）性能与自适应检索得分对比。fret表示来自外部模型提炼/预测的反射标记的概率得分。

对比不同检索方法的鲁棒性

• CRAG方法：CRAG（Corrective Retrieval Augmented Generation）是一种在检索质量较低时使用网络搜索来获取新检索的方法。通过将CRAG方法与OPEN-RAG结合，研究者评估了模型对检索质量的鲁棒性。

• 结果：OPEN-RAG在结合CRAG数据集时表现优于其他基线，显示出对高质量检索的潜在改进能力。

路由分析

• 专家激活：通过分析不同任务中专家的激活情况，研究者发现某些专家在特定层次上更活跃，这表明专家能够根据任务的复杂性在不同层次上发挥作用。

• OPEN-RAG的内存占用较高，因为它增加了总参数量（7.81B），与Llama2-7B系列基线（6.74B）相比有所增加。
• 尽管如此，OPEN-RAG在推理时只有7.01B的活跃参数，与性能相比，实际上降低了计算和内存成本。

https://openragmoe.github.io/OPEN-RAG: Enhanced Retrieval-Augmented Reasoning with Open-Source Large Language Modelshttps://arxiv.org/pdf/2410.01782