作者 | Richard
当今人工智能领域正在经历一场静默的革命。随着大语言模型(LLM)的快速发展，它们不仅能够处理更长的上下文，还展现出惊人的推理和检索能力。
难道我们要告别基于LLM的检索增强生成(RAG)了吗？
结果还真是这样，最近谷歌发布专门用于评估长上下文语言模型的LOFT测试基准，该测试基准评估长上下文LLM在各种实际任务中的表现，包括信息检索、问答和数据库查询等。LOFT的测试结果显示，一些最先进的长上下文模型在某些任务上已经达到了与专门训练系统相近的性能水平。
这意味着什么？它可能预示着AI应用的一个新时代的到来。在不久的将来，我们或许只需要一个强大的语言模型，就能完成过去需要多个专门系统才能完成的复杂任务。不过，这项研究同样指出大语言模型存在一些缺陷亟待解决。
论文标题：
Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More?
论文链接：
https://arxiv.org/pdf/2406.13121
AI界的新挑战与机遇
近年来，大型语言模型(LLM)的快速发展为人工智能领域带来了新的机遇和挑战。这些模型展现出惊人的语言理解和生成能力，但如何充分利用它们处理长上下文信息的潜力成为了一个关键问题。
传统上，复杂的AI任务需要多个专门系统协作完成。这类系统通常需要独立的模块来进行信息检索、问答和数据库查询等任务。下图左侧展示了传统的任务处理方式，包含多个模态检索工具和RAG过程。
相比之下，上图右侧展示长上下文语言模型（LCLM）的潜力。LCLM可以直接接收包含文本、图像、音频等多模态信息的整个语料库作为输入。通过"语料库中的上下文"（CiC）提示方法，模型能够在统一的框架内执行各种任务，包括检索、推理和答案生成。这种方法大大简化了流程，并且避免了多个独立系统可能带来的错误累积问题。
然而，评估这些模型的性能并不容易。现有的方法往往局限于特定任务，难以全面测试长上下文模型的能力。为此，研究者提出了LOFT（Long-Context Frontiers）基准测试。
LOFT包含6种任务类型，涵盖35个数据集，横跨文本、视觉和音频多个模态。它能够动态调整上下文长度，从32k到1M个标记，使研究者能系统地评估模型在不同长度上下文中的表现。
LOFT的出现为评估和理解长上下文模型提供了一个标准化平台，为探索这些模型的潜力和局限性提供了重要工具。
LOFT：一个全面的长上下文语言模型评估基准
LOFT（Long-Context Frontiers）基准测试的设计旨在全面评估长上下文语言模型的能力。LOFT包含六大类任务，涵盖35个数据集，横跨文本、视觉和音频多个模态：
文本检索：从大量文档中找出相关内容。 视觉检索：根据文本描述找出相关图像或视频。 音频检索：匹配文本与相应音频。 检索增强生成（RAG）：基于检索信息生成答案。 SQL类任务：理解自然语言查询并从数据库中提取信息。 多示例上下文学习：从大量示例中学习并完成任务。
LOFT的一个关键特性是其可扩展性。它支持从32k到128k，再到1M个标记的上下文长度，使研究者能够系统地评估模型性能随上下文长度增加的变化。
为了充分发挥长上下文模型的潜力，研究团队提出了"上下文中的语料库"（Corpus-in-Context，CiC）提示方法。CiC提示包含四个主要部分：
指令：为模型提供任务特定的指导。 语料库格式化：将整个语料库直接放入上下文，每个候选项分配唯一ID。 少样本示例：提供几个带有推理链的任务示例。 查询格式化：按照示例格式呈现待评估的查询。
这种方法允许模型直接在给定的大规模语料库中进行检索和推理，简化了任务流程，并充分利用了长上下文模型的能力。
通过这种设计，LOFT不仅提供了一个标准化的评估平台，还为探索长上下文模型在实际应用中的潜力和局限性提供了宝贵的工具。
实验结果：惊喜与挑战并存
LOFT基准测试的结果既展示了长上下文模型的潜力，又揭示了一些挑战。研究团队评估了三个最先进的长上下文模型：Google的Gemini 1.5 Pro、OpenAI的GPT-4o和Anthropic的Claude 3 Opus。这些模型在各种任务上的表现如下表所示：
文本检索任务
在文本检索任务中，Gemini 1.5 Pro的表现尤为出色。在128k上下文长度的测试中，Gemini 1.5 Pro在多个数据集上达到了与专门训练的检索系统Gecko相当的性能。例如，在NQ数据集上，Gemini 1.5 Pro和Gecko都达到了0.99的Recall@1分数，而Gemini 1.5 Pro并没有经过专门的检索训练。
然而，随着上下文长度增加到1M标记，模型性能出现了一定程度的下降。这表明在处理超长上下文时，模型仍面临着挑战。
视觉和音频检索任务
在视觉检索任务中，Gemini 1.5 Pro同样表现出优异的性能表现。其在多个数据集上超越了专门的视觉-文本检索模型CLIP。例如，在OVEN数据集上，Gemini 1.5 Pro达到了0.93的分数，而CLIP只有0.79。
在音频检索任务上，Gemini 1.5 Pro在所有五种语言的FLEURS数据集上都达到了完美或接近完美的表现，超过了专门的音频检索模型。
检索增强生成（RAG）任务
在RAG任务中，长上下文模型展现出了强大的推理能力。在需要多跳推理的数据集（如HotpotQA和MusiQue）上，Gemini 1.5 Pro的表现超过了传统的RAG pipeline。例如，在HotpotQA上，Gemini 1.5 Pro得分为0.75，而专业的RAG系统得分为0.70。
SQL类任务
然而，在SQL类任务中，长上下文模型的表现相对较弱。
在Spider和SparC数据集上，专门的SQL系统的性能显著优于长上下文模型。这表明在处理需要复杂结构化推理的任务时，这些模型还有很大的改进空间。
提示策略的影响
研究还发现，提示策略对模型性能有显著影响。在文本检索任务中，金标准文档在语料库中的位置会影响模型的性能。
将少样本示例的金标准文档放在语料库末尾可以提高模型在该区域的注意力，从而提升整体性能。
多示例上下文学习
在多示例上下文学习任务中，长上下文模型展现出了良好的表现。在某些任务中（如LIB-dialog），模型的性能随着示例数量的增加而稳步提升。
然而，在一些推理密集型任务中（如BBH-tracking7），增加示例数量并未带来显著改善，这表明模型在复杂推理任务上仍有局限性。
总体而言，LOFT的实验结果既展示了长上下文模型的巨大潜力，特别是在检索和多模态任务中，又揭示了它们在处理超长上下文和复杂结构化推理任务时面临的挑战。
总结与展望
长上下文语言模型通过LOFT基准测试，展现出无需检索增强（RAG）的强大能力。这些模型在多项任务中表现卓越，特别是信息检索，预示AI应用可能告别RAG，迎来简化统一的新时代。尽管在处理超长上下文和复杂推理时仍面临挑战，但这一突破标志着向更强大的长上下文模型迈进了重要一步。
未来研究可能会聚焦于改进超长上下文处理技术、增强结构化推理能力、优化提示策略，以及探索与专门系统的结合。LOFT为这些研究方向提供了重要的评估工具。随着技术的不断进步，有望出现更加强大和灵活的AI系统，为各个领域带来革新性的变化。
