大型语言模型（LLMs）在生成文本时可能会产生错误信息，即“幻觉”问题。尽管检索增强的LLMs通过检索外部数据来减少这种幻觉，但现有的方法通常不考虑检索文档与LLMs之间的细粒度结构语义交互，这在处理长文档时尤其影响回答的准确性。
检索器（Retriever）：使用Dense Passage Retriever（DPR）检索相关文档。 重排序器（Reorder）：通过图注意力学习和强化学习机制动态调整检索文档的顺序。 响应器（Responder）：将查询和调整后的文档作为输入，生成回答。
文档顺序调整：利用图注意力学习将检索文档动态调整到开始、中间和结束位置，以最大化回答质量的强化奖励。
文档表示增强：对于生成质量较差的回答，通过文档级别的梯度对抗学习来细化检索文档的表示。
实验使用了3类任务5个数据集，包括生成式问答（Generative QA）、多项选择问答（Multi-choice QA）和对话（Dialogue）任务。
R4框架在知识密集型任务上的表现超过了多个强基线模型，包括REALM、ICR、REPLUG、Selfmem、SELF-RAG、FILCO和LongLLMLingua。
R4模型在公共数据集上的总体结果。T检验表明，R4工作改进在统计上是显著的，p值<0.05。
R4框架对于不同的检索器和LLMs表现出良好的适应性，证明了其在不同文档数量下的鲁棒性。 增加检索文档的数量(10->15->20)可以提高模型性能，但性能提升随着检索文档数量的增加而减少。
基线（Self-RAG、REALM等）也表现出对位置敏感的现象，即开始和结束位置比中间位置更有效。
R4无论关键文档的初始位置如何，都能展现出稳定且强健的输出。这证实了文档的排序和优化在本质上增强了LLMs在RAG系统中处理用户查询的能力的观点。
https://arxiv.org/pdf/2405.02659R4: Reinforced Retriever-Reorder-Responder for Retrieval-Augmented Large Language Modelscode：paper录用后会发布
