TAG：基于语言模型和数据库的复杂问答系统

人工智能 (AI) 和数据库管理系统日益融合，这为改善用户与大型数据集的交互方式提供了巨大的潜力。近期的进步旨在使用户能够直接向数据库提出自然语言问题，并检索详细、复杂的答案。然而，当前的工具在满足现实需求方面存在局限性。传统的 AI 模型，例如语言模型 (LM)，具有强大的推理能力，而数据库则可以大规模地提供高度准确的计算。挑战在于如何将这两种能力结合起来，以增强用户从数据库驱动查询中获得的响应的范围和准确性。

该领域的一个紧迫问题是 Text2SQL 和检索增强生成 (RAG) 等现有方法的不足。Text2SQL 专注于将自然语言查询简单地转换为 SQL，这限制了其响应需要语义推理的更复杂、上下文驱动的查询的能力。例如，商业用户经常需要回答诸如“为什么我们上个季度的销售额下降了？”或“哪些客户对产品 X 的评价是积极的？”之类的问题。Text2SQL 不能充分回答此类问题，因为它们需要理解超出简单关系数据的自然语言。同样，RAG 系统在数据库中执行基本的点查找。尽管如此，它们在处理需要跨多行数据进行交互或聚合来自多个表的结果的更广泛的多步查询方面效率低下。当前模型缺乏复杂性阻碍了它们的实际应用，特别是在数据分析和解释超出简单数据检索的商业环境中。

加州大学伯克利分校和斯坦福大学的研究人员提出了一种称为表增强生成 (TAG) 的新方法。TAG 旨在将 LM 的语义推理能力与数据库的可扩展计算能力相结合，从而实现两者之间更复杂的交互。该方法认识到现实世界的用户经常会问超出 Text2SQL 和 RAG 能力的问题。TAG 首先将用户的自然语言查询转换为可执行的数据库查询，然后由数据库处理该查询以检索相关数据。检索到的数据与原始查询相结合，然后语言模型生成全面的响应。此过程允许 TAG 处理需要世界知识、逻辑推理和对大型数据集进行精确计算的查询。

TAG 模型将问答过程分解为三个关键步骤：查询合成、执行和答案生成。首先，系统解释自然语言查询并将其转换为数据库查询。然后在数据库上执行此查询，检索相关的数行数据。最后，语言模型处理这些检索到的数据，为用户生成详细且与上下文相关的答案。这三个步骤使 TAG 能够处理对于现有方法来说过于复杂的各种问题。研究人员通过基准测试证明了该系统的性能，表明 TAG 模型可以正确回答高达 65% 的复杂查询，这比现有最佳模型实现的 20% 成功率有了显著提高。

除了优于 Text2SQL 和 RAG 之外，TAG 在其可以处理的查询类型方面也非常通用。研究人员在多个领域测试了该系统，包括商业智能、客户情绪分析和财务趋势分析。例如，一个查询总结了被认为是经典的票房最高的爱情电影的评论。TAG 合成了相关数据，包括电影的名称、收入和评论，并提供了详细的回应，而传统系统无法做到这一点。该系统在 80 个查询上进行了测试，涵盖一级方程式赛车、借记卡使用和教育等领域。在大多数情况下，TAG 的性能优于现有模型，证实了其更广泛的适用性。

基准测试结果表明，TAG 在各种查询类型中平均实现了 55% 的完全匹配准确率，其中比较查询等特定类型的准确率达到了 65%。相比之下，Text2SQL 在大多数情况下难以达到 20%，而 RAG 在许多情况下未能提供一个正确的答案。建立在 LOTUS 运行时之上的手写 TAG 管道也展示了执行时间优势，平均在 2.94 秒内完成大多数任务，比传统方法快 3.1 倍。这种效率以及更高的准确性使 TAG 成为人工智能驱动数据库管理未来的一个非常有前途的工具。

总之，通过将语言模型与数据库相结合，TAG 为回答需要详细推理和精确计算的复杂自然语言查询开辟了新的可能性。这种方法通过使当前模型能够更准确、更高效地处理更广泛的查询，从而解决了它们的  key limitation。TAG 处理需要世界知识、逻辑和语义推理的问题的能力表明，它有可能改变各个领域的数据驱动决策，包括商业智能、客户反馈分析和趋势预测。通过这项创新，研究人员解决了人工智能和数据库集成中长期存在的问题，并为用户如何大规模地与数据进行交互铺平了道路。

• 论文地址：https://arxiv.org/abs/2408.14717

⇩ 关注「奇点智源」，探索「人工智能」⇩