时机感知自适应 RAG（TA-ARE）
标准的 RAG 始终进行检索，而自适应检索只在必要时进行检索...
介绍
随着大型语言模型（LLMs）的出现，出现了这个概念。新兴能力。它的前提或假设是，LLM 具有隐藏的和未知的能力，只等待被发现。企业家们渴望发现一些人们不知道的 LLMs 的竞争优势。
新兴能力原来是一个幻觉。但是发现的 LLMs 的特殊能力是在上下文学习（ICL）. 当 LLM 在推理时提供上下文数据时，它们有能力在生成回应时引用上下文数据。因此，在通过提示进行指示时，LLM 将丢弃模型训练数据，并利用推理数据进行答案的生成。
时机感知自适应检索（TA-ARE）是一种简单而有效的方法，可以帮助 LLMs 在没有校准或额外训练的情况下评估检索的必要性。
检索增强生成（RAG）
将上下文数据传递给 LLMs 在推断中被称为 RAG。LLM 响应的概念生成被推断时使用补充数据进行补充或增强。
标准的 RAG 始终检索，而自适应检索只在必要时才进行检索。
时间感知自适应 RAG（TA-ARE）
RAG 通常改善了问答的效果。这一点已经一再得到确认， 现在已经被默认为一个常识。
•时机意识，研究发现许多查询与时间相关，用户在提出问题时会指定时间范围作为定义其问题的函数。
•提示的有效性各不相同，并且随着模型大小的变化而不断变化。考虑下面的图片，为了使提示能够良好扩展，需要引入更复杂的逻辑；从第 1 步到第 8 步。
•即使 LLM 可以被描述为知识密集型，但 LLM 在处理知识密集型用户任务时存在两个问题：一是LLM 通常缺乏并不具备可以称之为的知识新世界知识； 二是更难解决的长尾知识
TA-ARE
标准的 RAG 方法进行检索时不加区分，并且不对输入查询进行分类。这种笼统的方法可能导致任务效果不佳。推理成本也可能因此而恶化。
概念自适应 RAG动态确定检索的必要性，并且仅在被认为不必要时依赖于 LLMs 的参数化知识。
ARAG 方法可以分为基于校准的和基于模型判断。问题在于需要调整不同数据集和模型的阈值，以平衡任务性能和推理开销。
TA-ARE 调查了 LLM 在多大程度上可以通过提示进行无需校准的自适应检索。
为了回答这个问题，需要评估 LLMs 是否能够只有在必要时，才进行检索。
这要求一个基准，区分可以使用 LLMs 参数化知识回答的问题和需要通过检索获取外部信息的问题。
研究贡献
一个新的数据集检索问答用于评估短格式开放域问答的自适应 RAG（ARAG）创建。
基准测试现有方法发现，普通提示不足以引导 LLMs 做出可靠的检索决策。
TA-ARE 是一个概念化的、简单而有效的方法，可以帮助 LLMs 在没有校准或额外训练的情况下评估检索的必要性。
结论
自适应 RAG 在分配流程之前对用户输入进行分类，需要对某种阈值进行校准。
时机感知自适应检索（TA-ARE）在于它是一种简单而有效的方法，可以帮助 LLMs 评估检索的必要性，而无需校准或额外训练。
具体代码可参见：https://github.com/hyintell/RetrievalQA。
