由于大型语言模型（LLMs）拥有极其庞大的参数数量，为了更新长尾或过时知识而对其进行微调在许多应用中是不切实际的。为了避免微调，可以将LLM视为一个黑盒（即，冻结LLM的参数），并通过检索增强生成（RAG）系统来增强它，这就是所谓的黑盒RAG。最近，黑盒RAG在知识密集型任务中取得了成功，并引起了广泛关注。现有的黑盒RAG方法通常会对检索器进行微调以迎合LLM的偏好，并将所有检索到的文档串联作为输入，这存在两个问题：
忽略事实信息，LLM偏好的文档可能不包含给定问题的事实信息，这可能会误导检索器，损害黑盒RAG的有效性；
Token浪费，简单地将所有检索到的文档串联起来会为LLMs带来大量不必要的token，这降低了黑盒RAG的效率。
FIT-RAG包含以下组件：
基于相似性的检索器：用于从知识库中检索与问题相关的候选文档。
双标签文档评分器：对候选文档进行评分，考虑文档是否包含问题的答案（事实信息标签）以及是否能够帮助LLM生成准确回答（LLM偏好标签）。
双面自我知识识别器：判断LLM是否已经具有回答问题的内部知识，从而决定是否需要外部检索。
子文档级令牌减少器：通过选择最相关的子文档组合来减少输入令牌的数量，避免不必要的信息输入。
子文档级令牌减少器的推理过程，在这里，以一个问题的三个文档为例
提示构建模块：根据问题、自我知识识别器的结果和令牌减少器的输出来构建输入提示，引导LLM生成答案。
https://arxiv.org/pdf/2403.14374.pdfFIT-RAG: Black-Box RAG with Factual Information and Token Reduction
