【行客按】在人工智能领域，长上下文语言模型（LCLMs）的发展正引领着一场潜在的技术革命。谷歌最近推出的LOFT（Long-Context Frontiers）基准测试，是为了评估这些模型在执行传统依赖特定工具如信息检索、问答和数据库查询等任务的能力。随着LOFT的推出，一些最先进的LCLMs在某些任务上已显示出与专门训练的系统相匹敌的性能。
传统的AI任务处理通常需要多个专门的系统和复杂的流程，如专用的检索系统、数据库或RAG（Retrieval-Augmented Generation）流程。然而，LCLMs通过整合复杂的处理流程到一个统一的模型中，显示出能简化这些任务的潜力。这不仅增强了用户友好性，还有助于减少在复杂管道中可能出现的错误传递。
LOFT基准测试包括一系列设计精良的任务，涵盖从文本到视觉再到音频的多个模态，旨在全面评估LCLMs在长上下文中的性能。这种新型评估工具挑战了传统模型在多个领域的主导地位，并预示了一种更加统一和简化的处理方式的可能。
表1：LOFT基准测试中的任务和数据集。LOFT包含6种任务类型，4种模态，共35个数据集。对于每个数据集，我们显示了候选者的平均长度（平均候选长度）以及LOFT 128k版本中的候选者数量（# 候选）。有关数据集的更多详细信息，请参见附录A至C。
技术洞察与实际性能
LOFT的核心在于其"语料库中的上下文"（Corpus-in-Context，CiC）提示方法，这种方法将整个语料库直接融入模型的上下文中。这使得LCLMs可以直接处理和回应大量数据，而无需外部的检索或数据库支持。这种方法不仅提高了处理效率，还改善了模型在长上下文任务中的性能，尤其是在信息检索和RAG任务中。
图3：检索的语料库中的上下文提示示例。CiC提示利用大型语言模型遵循指令的能力，利用少量示例，并从推理演示中受益，以检索和推理提供的大型语料库。
尽管LCLMs在简化流程和减少错误方面展现出显著优势，但它们在处理需要复杂组合推理的SQL类型任务时仍面临挑战。此外，LOFT的结果也强调了有效提示策略的重要性，表明模型的性能受到如何构造查询和如何呈现数据的强烈影响。
表2：LOFT 128k上下文测试集的主要结果。我们展示了三个长上下文语言模型（LCLMs）以及依赖于任务特定微调或流水线处理的专门模型的性能。对于评估指标：文本、视觉和音频检索使用召回率@1；RAG使用子跨度精确匹配；SQL使用准确率；多次射击ICL使用分类准确率。†：对于具有多个金标目标的检索，如附录A所述，使用MRecall@k（k依次为2、5、5、3）。
长上下文挑战与未来方向
LOFT基准测试的开展揭示了LCLMs处理长上下文信息的巨大潜力及其局限性。虽然这些模型在多个任务中表现出色，但在超长上下文和复杂结构化推理任务中的性能下降，表明未来的研究需要在模型训练和提示策略优化上进行更多的工作。
此外，LOFT的动态上下文长度扩展能力，从32k到超过1M的令牌，为评估和优化长上下文模型提供了强有力的工具。随着这些模型能力的不断扩展，它们在实际应用中处理更复杂任务的能力预期将进一步增强。
随着技术的持续进步和LCLMs在多种任务中的表现改善，未来的AI应用可能不再依赖于复杂和专门的系统，而是向使用单一强大模型处理多种任务的新时代迈进。LOFT不仅提供了一个全面评估这些模型的平台，还标志着我们对AI处理能力边界的重新认识，预示着长上下文模型可能在不久的将来取代现有的RAG等系统。
参阅通道： https://arxiv.org/pdf/2406.13121
