当推荐遇见大模型,会碰撞出什么样的火花

01

LLM+RS：LLM 作为推荐系统的一部分

• 用户/商品表征：很多工作尝试通过大模型，将商品的待推荐文本、知识等融合到一起，来生成商品的表征。另一方面，通过大模型，对用户上下文进行理解，从而得到用户的表征。
• 召回匹配：LLM 作为新的召回方式，可以实现 i2i 和 u2i 两种方式。
• 排序/生成：LLM 对排序的影响方式有 Point-wise、Pair-wise、List-wise 等。
• 其他：LLM 用于解决推荐系统的公平性、偏见性、隐私性、可解释性等问题。

• 用户/商品表征：利用 LLM 的 In-Context Learning 能力通过 Prompt 影响 LLM 的输入、输出。这方面在工业界已经有很多落地案例。比如用大模型来做上下文常用的表征，如对季节、天气的理解等。
• 召回：使用 Prompt 作为新的交互方式影响召回逻辑。
• 排序/生成：通过 Prompt 而非模型训练来影响排序，减少系统资源投入。
• 其他：利用 Prompt 解决模型的公平性、偏见性、冷启动、可解释性等问题。

• Top-K 推荐：通过 PTM 和 SFT 端到端地建模用户和商品关系。
• 评分推荐：通过 role injection、task description 等影响模型输出。
• 会话式推荐：结合用户上下文和预训练模型进行推荐。
• 可解释性/其他：解决公平性、多样性、多模态等问题。

• Top-K 推荐：通过面向 Top-K 场景的 Prompt Designer 可以方便地让模型输出。但目前很多过程式模型在 Top-K 推荐的准确性或效果方面表现不是特别好。如果想要得到比较好的效果，最好还是选一些比较可靠的模型，或自己训练一个模型。
• 评分预测：也是通过 Prompt Designer 来进行设计。
• 会话式推荐：Prompt Designer 的设计丰富多样，引入了用户的多轮输入等交互方式。
• 生成式推荐/其他：包括公平性、多样性评估等。

未来展望

• 如何利用用户上下文和商品信息自动设计 prompt；
• 模型对多模态推荐的理解能力；
• 解决 hallucination 和 bias 的问题；
• 如何提高推荐系统性能，以满足 C 端的高性能要求。