论文：https://arxiv.org/pdf/2408.08821
代码：https://github.com/HKUDS/EasyRec
主页：https://sites.google.com/view/chaoh/home
0 导语
身处信息爆炸的时代，我们每天都面临着无数选择。网上购物、音乐播放、视频推荐——推荐系统已渗透进我们生活的方方面面。它们是如何运作的？又是如何帮助我们在信息的海洋中找到自己所需的呢？推荐系统的核心在于预测用户对项目的喜好，进而提供个性化的建议。传统方法多依赖用户的历史数据，但在新用户或新项目面前，这种方法显得力不从心，即所谓的“冷启动”问题。此外，用户喜好的多变也给推荐系统带来了持续学习和适应的挑战。
深度学习为这一领域带来了曙光，尤其是深度神经网络，能够深入捕捉用户和项目间的复杂关系。但是，面对新用户，新商品，甚至零样本场景和动态变化的用户喜好的环境下，传统深度方法的表现并不尽如人意。在此，我们将聚焦一种有香港大学学者提出的名为EasyRec的语言模型，它以其独特的方式基于文本推荐的方式，为推荐系统带来了新的可能性。我们将深入探索其工作机制、实际应用效果，以及它如何更精准地理解和预测用户喜好。
1 深度推荐系统应用与挑战
在推荐技术的发展历程中，深度神经网络（DNNs）发挥了巨大作用，通过挖掘用户与商品间的深层次关系，为协同过滤注入了新的活力。协同过滤，这种利用用户或商品间的相似性进行推荐的方法，在深度学习的加持下，性能得到了显著提升。然而，现有的深度协同过滤模型仍面临着诸多挑战。特别是它们对用户和商品唯一标识符（ID）的依赖，这在实际应用中造成了不小的困扰。对于新用户或新上架的商品，由于缺乏足够的数据支持，模型往往难以给出准确的推荐。同时，当市场环境或用户喜好发生变化时，模型的适应能力也显得捉襟见肘。特别是在零样本学习场景中，即当用户或商品没有历史交互数据时，传统的协同过滤方法更是束手无策。
为了突破这些限制，研究者们开始将目光投向了语言模型（LMs）。这些在自然语言处理领域大放异彩的模型，通过文本向量化技术，构建了一个通用的特征空间。这意味着，即便是在没有用户和商品ID的情况下，我们也能进行有效的推荐。
2 基本概念
在深入了解EasyRec模型之前，我们需要先掌握推荐系统中的一些基本概念和表示方法。这些基础知识将构成我们理解模型工作原理的基石。在推荐系统中，我们定义了用户集合和商品集合。对于每个用户， 表示该用户交互过的商品集合。同样，表示与该商品，交互过的用户集合。用户-商品的交互可以通过一个交互矩阵来表示，其中 为1表示用户与商品有过交互，否则为0。
基于文本的零样本推荐
零样本推荐技术对于解决新用户或新商品缺乏交互数据的问题至关重要。面对新用户和新商品，系统往往因缺乏足够的交互数据而难以提供精确的个性化推荐。为了克服这一挑战，我们提出了一种基于文本的创新方法。该方法利用用户和商品的文本描述，通过强大的语言模型构建语义表示，从而实现基于文本的推荐。具体来说，我们为用户和商品定义了文本描述和。这些描述通过语言模型LM (∙)编码为向量表示 和 。用户对该商品的偏好程度就可以利用cosine相似度来进行量化。随后，系统可以向用户推荐相似度得分最高的前个未交互的物品，从而生成个性化推荐集。
文本增强的协同过滤
协同过滤（CF）是推荐系统中的一个核心技术，它通过挖掘用户与用户、物品与物品之间的相似性来为用户推荐他可能感兴趣的物品。然而，传统的协同过滤方法主要依赖于用户和物品的ID，对于新用户或新物品，其性能可能会大打折扣。为了克服这一问题，我们提出了文本增强的协同过滤方法。在这种方法中，我们不仅考虑用户与物品的交互数据，还引入了由语言模型生成的文本特征。具体来说，对于用户和商品，我们除了利用交互矩阵计算用户偏好值外，还结合了他们的文本嵌入。这些文本嵌入为用户和物品提供了更丰富的语义信息，通过整合文本特征与传统的协同过滤技术，我们的方法旨在提供更加精准和个性化的推荐，特别是在面对冷启动和零样本学习等挑战时。
3 EasyRec框架
3.1 协同构建用户/商品文本描述
在现实世界的推荐系统中，我们往往面临数据限制，比如只能获取到与商品相关的基本文本信息，如商品标题和分类，同时用户信息的收集也受限于隐私保护。直接使用这些原始文本数据可能会忽略对精确用户行为建模和偏好识别至关重要的协同关系。为了突破这些限制，我们提出了一种创新的策略，利用大型语言模型，结合协同信息，为用户和商品生成文本画像。
我们的目标是创建能够全面描述商品特性和用户偏好的文本画像。对于商品，文本画像将展现商品的基础信息和可能吸引的用户群；而对于用户，画像将基于其历史交互记录和商品评价，揭示其喜好的商品类型。为实现这一目标，我们采用了协同画像生成方法，通过整合交互数据与原始文本，利用大型语言模型生成画像。
画像策略的优势分析：（i）协同信息的有效保留：我们的协同画像方法不局限于原始文本，更深入地捕捉了用户和商品的特性及其交互的语义。借助面向推荐的语言模型，这些丰富的画像信息被编码至共享特征空间，使得已交互的用户和商品的表征更加接近。这显著提升了推荐系统在识别相关匹配项上的能力，尤其是对“零样本”用户和商品—即那些没有先前交互记录的对象，这在真实场景中十分常见。通过文本画像中蕴含的协同信号，系统能够做出更为精准的推荐，从而有效缓解了冷启动问题。（ii）动态场景的快速适应：基于这类画像训练的语言模型，使推荐系统能够快速响应用户偏好和交互模式的变化。其独特优势在于，仅通过简单更新文本用户画像，即可实时反映用户兴趣和行为的演变。这种高度的灵活性使得我们的方法非常适用于用户兴趣随时间变化的动态环境中的推荐系统。
3.2 EasyRec核心架构和训练方法
EasyRec的核心模型采用了Transformer架构，这种架构为推荐系统带来了两大显著优势。首先，由于该架构专注于文本编码，并且能并行处理，这使得推荐系统在进行推理时的速度得到了显著提升。高效编码意味着系统能够更快速地处理大量的用户和商品信息，为实时推荐提供了强有力的支持。其次，该模型的灵活性使得我们可以通过优化学习来调整预训练参数，以便更好地适应特定的推荐任务需求。这种灵活性确保了EasyRec在面对不同场景和需求时都能表现出色。
文本处理与嵌入生成。 具体来说，在EasyRec中，我们将用户或商品的文本描述视为由多个词汇组成的文本段落。处理这些文本时，我们会在词序列的起始位置插入一个特殊标记[CLS]。接着，分词层会将输入文本编码为初始嵌入，并融入位置信息。这些嵌入随后被传递给Transformer层进行深度处理。在Transformer层中，自注意力机制发挥着关键作用，确保每个词汇都能从整个序列中捕获信息，从而获得全面的上下文理解。最终，我们选择与[CLS]标记对应的首个嵌入作为整个用户资料的代表性嵌入。这个嵌入会经过多层感知机的进一步加工，形成最终的编码表示。通过这些步骤，我们为用户和商品生成了富含上下文信息的文本嵌入。利用余弦相似度，我们可以精准地衡量用户与商品之间的交互可能性，并以此为基础进行精准推荐。
模型训练方法。 传统的BPR Loss训练方法由于受限于负样本数量，难以全面优化多个编码特征向量。因此，EasyRec采用了Contrastive Loss进行训练。这种方法能够更全面地优化整个编码特征空间，提升推荐的准确性。我们从用户与商品的交互数据中抽样，将有过交互的用户和商品文本特征拉近，在特征空间中形成聚集。同时，将同一抽样数据中的其他未交互用户或商品特征作为负样本进行排斥，使模型能够更清晰地区分正负样本。此外，为了提高模型对语义的理解能力和泛化性能，我们还引入了文本掩码-重构损失。这种损失函数能够促使模型更深入地理解文本语义，从而提升推荐的精准度和用户满意度。
3.3 文本画像的多样性增强
为了提升模型对未知用户和商品的泛化能力，我们深入探索并实施了画像多样化增强策略。传统上，使用单一的文本画像来描述每个用户和商品虽然具有一定的简洁性，但这种方式明显限制了表示的多样性。在长期实践中，我们发现这种局限性可能会对模型的性能和泛化能力造成不利影响，尤其是在面对复杂多变的实际应用场景时。
为了有效解决这一问题，我们提出了一种创新的画像增强方法。通过对现有的用户和商品画像进行精细化处理，我们让每个实体都能通过多个画像文本来全面展现其独特的交互偏好和特征。这些经过精心增强的画像能够更深入地捕捉到诸如用户的个性化互动偏好、商品的多样化特征及其对应用场景的特定适应性等核心语义信息。
在实施画像增强策略时，我们借鉴了自我指导机制，并充分利用大型语言模型（LLMs）的强大能力。在严格保持原始意义完整性的基础上，我们对用户/商品的文本描述进行了重新阐述。通过这种策略，我们成功地从单一输入生成出多个语义相近但措辞和表达方式各异的画像，极大地丰富了数据的多样性和表达的细腻度。
3.4 训练数据
我们利用了Amazon Review Data中丰富多样的类别数据，如艺术、体育等，构建了训练数据集和部分数据集。为了更全面地评估模型的性能，我们还引入了Steam和Yelp数据集，作为跨平台的测试数据集，以期在多样化的实际应用场景中检验模型的泛化能力。为了确保在零样本环境下对模型进行有效验证，我们让训练数据集和测试数据集是不同的数据集，确保它们之间完全独立，不存在任何用户和商品的重叠。这样的划分有助于我们更客观地评估模型在面对全新数据时的表现。关于数据集的更多详细信息，我们邀请大家通过阅读相关论文和开源代码进行深入了解。
4 实验验证
4.1 零样本文本推荐能力
在测试集（Sports，Steam和Yelp）上，我们采用了全排序方法来测试模型的基于文本的零样本推荐能力。为了全面评估模型的性能，我们选择了多种语言模型作为基准（baseline），包括通用语言模型（如BERT，RoBERTa），专为深度检索设计的语言模型（如SimCSE，GTR，BGE），以及与推荐系统相关的语言模型（如BLaIR）。此外，我们还与OpenAI提供的两款重要语言模型（v3-Small和v3-Large）进行了性能对比。
实验结果显示，EasyRec在零样本推荐能力方面显著超越了上述所有对比模型。该模型能够有效地实现用户画像文本和商品画像文本之间的精确对齐，从而提供准确的推荐结果。这一成就归功于我们创新的模型设计和训练方法，使得EasyRec能够在全新的数据集上展现出色的性能。为了进一步验证模型的可扩展性，我们训练了三个不同规模的模型版本（从Small到Large）。模型的性能随着规模的增大而稳步提升，呈现出了Scaling Laws效应。这一结果从侧面证明了我们将包含用户/商品交互偏好的文本画像作为文本数据，并结合协同信号进行语言模型训练的实践路径是行之有效的。这种训练方法不仅提升了模型的推荐精度，还为模型在不同规模和复杂度数据集上的应用提供了坚实的基础。
4.2 基于文本增强协同过滤算法
为了探究不同的语言模型对现有的ID-based协同过滤算法的增强效果，我们挑选了两个广泛应用的模型GCCF和LightGCN作为基准（baseline）。同时，为了确保实验的一致性和公平性，我们采用了当前领先的文本增强框架RLMRec作为统一的实验框架。
通过一系列实验，我们发现EasyRec相较于基准模型实现了显著的性能提升。这一成绩的关键在于EasyRec能够巧妙地将文本中蕴含的协同信息有效地编码到文本特征中。这种编码方式不仅丰富了特征的内涵，还为下游的文本增强框架提供了高质量、富含协同信息的文本特征。正因如此，当这些特征被用于推荐时，模型的推荐性能得到了显著提升。
4.3 快速捕获用户的动态偏好
在之前的讨论中，我们强调了EasyRec平台的一项显著优势，即它能够敏锐捕捉并适应用户随时间推移而变化的个人喜好和行为模式。为了量化这一适应能力，我们特别选取了Amazon体育用品数据集，从中构造了两组模拟用户画像，这些画像清晰地展示了用户兴趣从篮球活动转向游泳的变迁过程。
随后，我们借助t-SNE技术，将这些用户的编码特征嵌入进行可视化分析，结果显著表明，在特征维度空间中，用户的表示随其兴趣的改变而发生了深刻的重构。这种变化直接映射到推荐内容的更新上，原本聚焦于篮球装备的推荐列表，顺应用户的新喜好，转变为游泳用品的精准推送。尤为值得一提的是，这一动态调整的实现，完全基于用户资料的微调，而未对底层推荐模型进行任何额外的训练步骤。这充分彰显了该模型在灵活适应并即时响应用户偏好变动方面的高效机制与卓越性能。
5 结语
本篇文章提出了语言模型EasyRec，其融合了先进的语言模型和对比学习技术，为用户行为分析和个性化推荐提供了强有力的支持。它能够敏锐地捕捉到用户兴趣与行为的细微变化，无论这些变化是大是小，都能迅速响应并调整推荐内容。在基于文本推荐时，EasyRec展现了其独特的优势，能够为用户提供精准且符合其潜在兴趣的推荐。同时，通过对协同过滤技术的增强，EasyRec进一步提升了推荐的多样性和准确性，为用户带来了更加丰富、个性化的浏览与购物体验。
