《GPT4Rec：个性化推荐和用户兴趣解释的生成框架》

作者为Jinming Li、Wentao Zhang、Tian Wang等人，来自密歇根大学和亚马逊。

一、研究背景

  • 自然语言处理（NLP）的发展推动了基于NLP的推荐系统的研究，但现有模型存在一些局限性，如未能充分利用物品内容信息和NLP模型的语言建模能力、难以适应不断变化和增长的物品库存以及难以解释用户兴趣等。

二、方法概述

  • GPT4Rec框架：受搜索引擎启发，该框架首先使用生成式语言模型根据用户历史中的物品标题生成假设的“搜索查询”，然后通过搜索引擎检索这些查询来获取推荐物品。框架的关键组件是强大的生成式语言模型，它在语言空间中学习用户和物品的嵌入，采用多查询生成技术和波束搜索来解码用户的多兴趣，提高推荐的相关性和多样性。
  • 查询生成与语言模型：使用GPT - 2语言模型，通过特定的提示格式化模型输入，学习用户在语言空间中的表示，并生成代表用户兴趣的多个查询。
  • 物品检索与搜索引擎：使用BM25搜索引擎作为“判别器”，根据匹配得分函数检索与生成查询最相关的物品，并提出了一种基于排名的策略来组合每个查询的搜索结果。
  • 训练策略：采用灵活的两步训练过程，分别优化语言模型和搜索引擎。

三、实验设置

  • 数据：在两个公共数据集（5core Amazon Review数据的Beauty和Electronics类别）上进行实验，对数据进行预处理，包括丢弃缺失或噪声标题的物品，对用户交互序列进行去重和截断等。
  • 评估指标：主要使用Recall@𝐾来衡量下一项预测的准确性，同时关注Diversity@𝐾（衡量推荐物品的不相似性）和Coverage @ K（衡量推荐物品对用户多兴趣的覆盖程度）。
  • 基线方法：包括FM - BPR、ContentRec、YouTubeDNN和BERT4Rec等。
  • 实现细节：使用HuggingFace发布的具有117M参数的GPT - 2模型进行微调，设置相关训练参数，并对BM25进行优化。其他基线方法使用相应的开源库实现，并选择最优的嵌入维度。

四、实验结果

  • 整体性能：在两个数据集上均优于所有基线方法，在Beauty数据集上的Recall@40相对提高了75.7%，在Electronics数据集上提高了22.2%。
  • 多查询生成的优势：多查询波束搜索生成策略大大提高了推荐物品的相关性，生成𝐾个查询并每个查询检索一个物品时，Recall@𝐾、Diversity@𝐾和Coverage@𝐾的性能最佳，表明多查询生成策略能更全面地表示用户兴趣，而单纯增加𝐾而不增加查询数量不会提高多样性。
  • 定性分析：通过案例研究展示了生成查询在捕捉用户兴趣和解释用户兴趣方面的有效性，生成的查询能够根据用户 - 物品交互和物品标题语义信息捕捉物品之间的关联，且生成查询的多样性水平能够适应用户序列中的水平。

五、结论

GPT4Rec是一种新颖灵活的生成框架，利用先进的语言模型和物品内容信息实现了优越的性能，自然解决了物品冷启动等实际问题。多查询波束搜索技术生成了具有不同方面和粒度的用户兴趣表示，提高了推荐结果的相关性和多样性。该框架能够灵活地融入更先进的生成语言模型或搜索引擎，以及更好的生成和检索策略，这些都是未来探索的有趣方向。