大型语言模型（LLMs）的出现开启了对话式人工智能的新纪元。这些模型能够生成极其类似人类的文本，并且比以往任何时候都能更好地进行对话。然而，它们在仅仅依赖预训练知识时仍然面临局限性。为了增强它们的推理和准确性，LLMs需要能够融合外部知识的能力。
检索增强生成（RAG）已成为一种解决方案，通过从外部源获取知识来增强LLMs。RAG结合了一个检索器模块，该模块提取相关的知识段落，以及一个神经生成器，用于根据检索到的上下文产生答案。这允许将事实、概念和关系纳入到LLM的内在知识之外。尽管有前景，但RAG面临着影响整体答案质量的挑战。
让我们介绍一下ActiveRAG，这是为应对这些挑战而设计的RAG框架的增强版。我们将讨论ActiveRAG的动机、方法和结果。通过主动构建知识和将其紧密整合到LLM自身的认识中，ActiveRAG与标准RAG相比实现了更高的准确性和解释连贯性。
主动知识构建的需求标准RAG的一个关键限制是其对外部知识的被动整合方式。检索器模块拉取可能相关的段落，这些段落与输入查询连接在一起。然后这个上下文混合体指导LLM生成答案。
然而，仅仅提供额外的上下文几乎无法确保与LLM的内在知识紧密整合。模型将检索到的段落视为松散的事实引用，而不是积极理解和拼接在一起的知识。这在几个方面表现出来：
1、知识噪声：检索到的段落经常包含与回答特定查询无关的额外事实或关系。这增加了LLM的信噪比，嘈杂的无关知识损害了答案的质量。 知识脱节：即使与查询相关的上下文通常也缺乏与LLM现有知识和认知的连贯连接。没有明确的联系，整合感觉支离破碎，而不是统一的解释流。 2、被动持有：由于对检索到的知识理解不足，LLM被动地持有上下文，而没有更全面的评估或与自己的知识库进行调和。结果导致碎片化而非融合的理解。 3、此外，RAG的被动方法忽略了建构主义的关键原则，这是一种学习理论，认为知识是由学习者主动构建的，而不是被动接收的。人类通过将新信息与现有结构联系起来，建立新的心智模型，推理矛盾并解决冲突来构建知识。RAG放弃了对于深入理解至关重要的构建。
引入ActiveRAG为了填补这些空白，ActiveRAG是一种增强方法，用以将主动知识构建融入RAG。关键原则是：
1）知识是主动构建的，而不是被动持有的 2）将外部知识紧密整合到LLM的内在认知中 3）通过评估周期对知识进行调和和完善 基于这些原则，ActiveRAG实施了一个由检索、知识构建和答案生成组成的三阶段流程。
知识检索与RAG一样，第一阶段使用密集向量相似性检索与查询可能相关的段落。关键的区别在于检索较小的知识“块”（1-3句话），而不是较长的段落。这过滤了噪声并增强了检索上下文的相关性。
知识构建第二阶段使用检索到的块主动构建知识。四个子组件执行独特的建构主义功能：
1）语义关联 - 根据语义相关性将检索到的知识块与现有知识结构联系起来。这将新信息同化到现有的认知框架中。 2）认识锚定 - 如果检索到的信息与现有知识的语义相关性低，则建立新的参考知识框架。这扩展了认知边界。 3）逻辑推理 - 通过从检索内容中得出结论来推断新知识。这构建了解决问题的逻辑链。 4）认知对齐 - 识别检索块与现有知识之间的冲突。然后进行解决以完善理解。这调和了不一致之处。 这些组件共同模仿了人类的建构主义：将新知识与旧知识联系起来，形成新的心智模型，通过逻辑推理解决问题，并调和冲突信息。
5）认知枢纽 最后阶段将构建的知识重新整合到LLM的内在认知中。首先，LLM基于其现有知识为查询生成初始的思维流。接下来，构建的外部知识动态注入到这个思维流中以完善理解。
我们称之为“认知枢纽”——来自外部源的构建知识与LLM固有认知的交汇点。这种紧密整合在标准RAG中是缺失的，其知识脱节。
结果 在一系列问答任务中评估了ActiveRAG与基线RAG的表现。一些关键结果：
ActiveRAG通过减少知识噪声和增强推理，将答案准确率提高了约5%。 ActiveRAG的解释连贯性评分更高，表明检索到的知识与内在认知之间的整合更加紧密。 由于额外的知识构建，延迟增加了约15%，但抵消了更大的准确率提升。 在LLM的认知过程中主动构建和同化知识，导致了更准确的答案和统一的解释流。
局限性和未来工作虽然前景看好，但ActiveRAG在未来工作中仍有一些局限性需要解决：
多阶段流程增加了延迟，因为知识构建比标准RAG增加了2-3倍的计算量。这可以通过模型蒸馏和优化来缓解。 构建知识需要多次查询LLM，增加了成本。缓存构建的知识可以帮助最小化冗余生成。 在模拟人类知识构建方面仍存在差距，例如绘制类比、从示例中学习和分层知识。 未来的工作可以增强ActiveRAG的建构主义功能，以进一步缩小与人类认知的差距。此外，构建组件与核心LLM之间的更紧密耦合可以提高流畅度。
凭借其主动方法，ActiveRAG表明仅仅检索知识是不够的。在LLM的内在认知中构建、调和和主动整合知识，可以带来更准确和连贯的结果。尽管要实现人类水平的理解还有工作要做，但ActiveRAG为实现这一目标提供了宝贵的一步。
结论总之，标准的RAG为使用外部知识增强LLMs提供了一个有用但不完整的解决方案。它的被动方法导致了碎片化的理解。ActiveRAG引入了主动的知识构建和整合来弥补这些不足。通过将构建的知识与内在认知紧密链接，ActiveRAG实现了更高的准确度和解释的连贯性。
在模仿人类建构主义学习方面，神经网络仍有待探索的前沿。但ActiveRAG提供了一种前进的学习蓝图——一种不将知识视为静态持有的外部资产，而是将其视为一个活生生的力量，去构建、塑造并编织进理解系统中。凭借这种主动精神，人类知识的宝藏不仅变得更易于获取，而且成为触及认知本质本身的丰富源泉。
