近⽇，蚂蚁集团语言与机器智能部的论文《LLMRG: Improving Recommendations through Large Language Model Reasoning Graphs》中稿 AAAI 2024。
AAAI (AAAI Conference on Artificial Intelligence) 由国际先进人工智能协会主办，是人工智能领域的顶级国际学术会议之一，属于中国计算机学会(CCF)推荐的A类国际学术会议。
第38届AAAI人工智能年度会议于2024年2月在加拿大温哥华举行。过去五年平均录取率为19%。
在推荐系统的研究中，利用图结构来增强模型表达能力已经成为一种重要的研究思路。然而，这些基于知识图谱或者交互图的推荐系统，虽然引入了丰富的关系信息，但是缺乏对用户行为和兴趣做深入推理和理解的能力。与此同时，大语言模型展现出了惊人的推理、类比等智能，为构建更加智能的推荐系统带来了新的机遇。
那么，“大语言模型能否赋予推荐系统更强大的推理和洞察能力呢?”
围绕该课题，蚂蚁集团语言与机器智能部推出了题为《LLMRG: Improving Recommendations through Large Language Model Reasoning Graphs》的工作，提出了一种利用大语言模型构建个性化推理图的创新框架(LLMRG)。
该框架利用大语言模型强大的推理能力，通过推理将用户的历史行为和属性信息连接起来，并进行发散式的延伸，构建出表达用户高阶兴趣的个性化推理图。同时，该工作还引入了自验证机制和自迭代的知识库，以进一步提升推理图质量。最后，个性化推理图被编码后作为附加特征，赋能传统的推荐模型，使其获得显著的性能提升。
这项工作展示了大语言模型如何为推荐系统带来更加合理且具备可解释性的推荐。（点击阅读原文查看论文）
1.背景
现有的推荐系统主要依赖传统的机器学习技术，缺乏对用户行为和兴趣的深层理解和语义捕捉能力。尽管一些工作试图引入知识图谱来提供上下文信息,但这些图谱缺乏复杂推理的能力，无法真正理解用户的兴趣。
与此同时,大语言模型(LLM)在推理和逻辑方面取得了长足进展，展现出强大的因果推理、逻辑推理和类比推理能力，为发展更优秀的知识表示方法铺平了道路。因此，我们提出利用LLM构建个性化推理图来增强推荐系统。该图通过因果和逻辑推理将用户的特征和行为序列链接起来，刻画用户兴趣之间的高层次语义关系。
通过图神经网络对推理图进行编码，并将其作为传统推荐模型的额外输入，既能利用LLM推理出的概念关系，又能利用现有推荐系统的能力，实现更解释性、更合理的个性化推荐。
在本论文中，我们提出了一种创新的方法LLMRG(Large Language Model Reasoning Graphs)，利用大型语言模型(LLM)构建个性化推理图，将其与传统的推荐系统相结合，以提高推荐效果并增强可解释性。
主要创新点包括：
01
提出了一种自适应推理架构，包括链式图推理、发散扩展、自我验证和评分以及自我改进知识库四个模块，利用LLM的推理和逻辑能力构建个性化推理图。
02
将构建的推理图与传统推荐系统相结合，使其不仅能利用推荐算法，还能从LLM导出的概念关系中获益,从而提高推荐准确性。
03
推理图本身具有较好的可解释性，能说明推荐背后的逻辑和原因。
04
在多个基准数据集上评估了所提方法，实验结果证明LLMRG能显著提高现有推荐系统的性能，而不需要任何额外的用户或物品信息。
2.算法方案
我们希望对由文本信息增强的用户序列进行分析，借助LLM所具有的自然语言理解能力及推理能力，对于用户行为进行深入理解。
在此基础上，设计LLM推理图模型（Large Language Model Reasoning Graphs ，LLMRG）其核心的模块为LLM增强的自适应推理模块（LLM-based Adaptive Reasoning Architecture，LLM-based ARA），利用该模型推理用户在交互行为过程中的内在意图，将具有内在逻辑相关性的子序列抽象为Reasoning Chain，并将完整的用户行为序列刻画为可以表示用户思维过程的Reasoning Graph。利用Reasoning Graph，可以对用户内在意图进行解刻画，作为同标签用户检索的推理依据。
并且由于Reasoning Graph的有向性，其能够刻画用户完整的意图动态过程，为了增强对于用户的意图表征，LLM-based ARA对于每一条Reasoning Chain进行拓展发散。完整的框架结构如下图所示：
框架整体分为四个核心模块：
01
链式图推理（Chained Graph Reasoning）
利用由LLM和Knowledge Store构造基础推理模块，对于行为原始序列
，通过step-by-step的方式构造若干条推理链
。
02
自验证（Self-verification and Scoring）
由于LLM本身具有的幻觉等问题，其推理过程可能存在逻辑错误，为了纠正LLM在推理过程中所产生的推理错误，构造自验证及打分机制。在推理链的基础上，设计掩码生成机制，利用
标记生成掩码推理链
。利用掩码推理链构造自验证过程中的逻辑验证任务，利用LLM进行溯因推理，进而验证所构造推理链的合理性，并进行打分。设置打分阈值
筛选满足合理性的推理链。
03
意图发散拓展（Divergent Extension）
在经过Self-verification过程之后，我们将验证过的推理链构造为推理图（Reasoning Graph），其中推理图的每一个叶子节点为用户这类意图的终点交互行为。利用基础推理模块对推理图进行发散拓展，构造发散图（Divergent Graph），作为对于用户实体交互行为的意图理解表征。
04
自提升（Knowledge base Self-improvement）
考虑模型在业务场景下LLM推理效率原因，我们设计用户Self-improvement的Knowledge Store结构
，其会存储LLMRG模型在以往数据中所推理出的高置信推理链。LLMRG在进行推理过程中，会先利用Retrieval-Augmented Generation方式搜寻中高置信推理链，避免冗余推理过程，提升LLMRG推理效率。
3. 实验验证
在3个开源数据集（ML-1M，Amazon Beauty，Amazon Clothing）上进行了丰富的LLMRG验证实验，将我们提出的基于GPT3.5或GPT4的LLMRG模型与几种baseline方法比较。表格中的阴影区域突出显示了我们的LLMRG模型在3个数据集上相比现有basline的性能提升。
这些结果展示了LLMRG的即插即用本质，它可以有效提升多个现有推荐模型。这表明传统的推荐系统难以模拟用户多样化兴趣的概念关系。
相比之下，LLMRG框架可以在不需要任何额外信息的情况下提升推荐性能。这些改进展示了大型语言模型如何为推荐系统带来逻辑推理和可解释性。
具体实验结果如下：
我们进一步通过消融研究探索了LLMRG框架中每个模块的有效性。
以DuoRec作为基线模型,将其与基于GPT3.5或GPT4的LLMRG消融版本(有无发散扩展和自我验证模块)进行比较。下表的结果显示,无发散扩展模块的LLMRG(使用GPT3.5或GPT4)与完整LLMRG相比，只有微小的改进。然而,从LLMRG(GPT3.5)中移除自我验证模块实际上会降低性能。
这证明了GPT3.5的推理能力有限 - 在没有验证的情况下,不受控制的推理会引入噪声，从而降低整体性能。总的来说，这些消融实验清楚地证明了发散扩展和自我验证模块的价值，它们能够在保持准确性的同时实现更高级的推理。这两个模块相互协同，扩大了可能解决方案的搜索空间，同时过滤掉不准确或不连贯的推理路径。
未来方向：
在未来，我们计划在以下几个方向进一步推进LLMRG：
1
探索更高级的推理策略,如反事实推理、对因果关系的建模等,以更好地捕捉用户兴趣的语义关系。
将LLMRG应用于更广泛的场景,如社交网络推荐、广告推荐等,评估其泛化能力。
2
3
研究如何将LLMRG与其他人工智能技术(如计算机视觉)相结合,以实现更智能、多模态的推荐系统。
开发更加高效的推理图构建和编码算法,降低计算开销,实现LLMRG在大规模应用场景中的可行性。
4
总的来说，LLMRG为推荐系统带来了逻辑推理和语义理解的全新范式，我们相信其具有广阔的潜在影响。未来我们将在此基础上持续努力，不断探索推荐系统的新方向。
