论文地址

https://arxiv.org/pdf/2105.04790

论文总结

《Learning to Warm Up Cold Item Embeddings for Cold - start Recommendation with Meta Scaling and Shifting Networks》总结 作者为Yongchun Zhu等，来自中国科学院、北京航空航天大学和腾讯等机构。

研究背景

推荐系统中，深度推荐模型虽采用先进的嵌入技术，但存在数据需求大且受冷启动问题困扰的问题，尤其是冷启动项目的物品ID嵌入（cold ID embedding）难以训练，存在与深度模型的差距以及受噪声影响的问题，而现有方法未同时考虑这两个问题。

主要内容

  • 相关工作：

    • 冷启动推荐：根据交互样本数量可分为冷启动阶段（零样本）和预热阶段（少量样本），现有一些方法可解决冷启动问题，但本文提出的MWUF与这些方法不同。
    • 元学习：可分为基于度量、基于优化和参数生成三类，本文方法属于参数生成类。
    • 序列推荐：各种序列推荐方法可有效利用序列交互数据，一些冷启动方法也关注如何有效利用有限样本，本文认为序列推荐模型对冷启动问题有帮助。

  • 模型：

    • 问题定义：聚焦于二进制分类推荐任务，样本包括用户、物品和标签，通过判别函数进行预测，冷启动阶段和预热阶段分别表示为|𝑈(𝑣𝑖)| = 0和|𝑈(𝑣𝑖)| > 0，本文关注预热阶段。
    • 常见初始ID嵌入：利用所有现有物品的平均嵌入来初始化新物品的ID嵌入，比随机初始化更好，不仅有助于训练两个元网络，也对冷启动阶段有帮助。

    • 两个元网络：

      • 元缩放网络：根据物品特征生成缩放函数，将冷ID嵌入转换为更温暖的嵌入，以适应模型。
      • 元移位网络：利用全局交互用户的平均嵌入来产生移位函数，使ID嵌入更稳定。

    • 整体流程：训练分为两步，第一步训练推荐模型，第二步训练两个元网络来预热冷ID嵌入，MWUF可应用于各种基础模型，且可离线或在线训练。

  • 实验：

    • 数据集：使用三个数据集进行评估，包括MovieLens - 1M、Taobao Display Ad Click和CIKM2019 EComm AI。
    • 基线：分为三组，包括流行的CF方法、最先进的冷启动方法和利用历史交互信息的方法，MWUF是一个可应用于各种模型的通用框架。
    • 实验设置：按物品数量分组，采用相同的设置和步骤进行实验，使用AUC作为主要指标，引入RelaImpr来衡量相对改进。

    • 结果（RQ1）：

      • SOTA深度CF方法的有效性：AFN在冷启动设置中优于其他流行的深度CF方法，探索结构设计是解决冷启动问题的可行方案。
      • 各种冷启动方法的有效性：不同类型的冷启动方法对解决冷启动问题有效，但MeLU在Taobao Display AD数据集上效果不理想。
      • 序列模型的有效性：序列模型在温暖阶段表现出色，表明其对冷启动性能有改善作用，序列推荐是一个可探索的方向。
      • 推荐性能在不同阶段的表现：大多数方法在后期阶段性能更好，因为新物品有更多交互，冷启动方法的改进在后期阶段减少。
      • MWUF的有效性：MWUF在大多数任务中优于其他方法，能显著超越最佳基线。

    • 泛化实验（RQ2）：比较MWUF和MetaEmb在更多场景下的性能，两者都具有兼容性，MWUF在大多数任务中能取得更好的性能，适应新物品更快。

    • 消融研究（RQ3）：对MWUF进行消融测试，证明各组件对整体性能的贡献，MWUF（init）、MWUF（shift）和MWUF（scale）均比基础模型有提升，整体MWUF效果最佳，且Meta Scaling Network比Meta Shifting Network更有效。
    • 初始化比较（RQ4）：比较不同初始化方法的影响，MetaEmb和MWUF（init）都优于随机初始化，在冷启动阶段两者效果相当，在温暖阶段MetaEmb更优。

  • 结论：

提出Meta Scaling和Meta Shifting Networks来预热冷ID嵌入，并基于此提出Meta Warm Up Framework（MWUF），该框架可应用于各种现有模型，通过实验验证了其有效性和兼容性。