以下是对这篇论文的详细总结：

一、论文题目

《Improving Item Cold - start Recommendation via Model - agnostic Conditional Variational Autoencoder》

二、作者

Xu Zhao, Yi Ren, Ying Du, Shenzheng Zhang, Nian Wang

三、研究背景与动机

  • Embedding & MLP成为现代大规模推荐系统的范式，但存在冷启动问题，即大量新出现的交互有限的物品嵌入训练不充分，导致推荐性能差，影响系统的分配效率。
  • 现有解决物品冷启动问题的方法存在一些不足，如需要额外的数据要求、难以在在线推荐场景中部署、未同时考虑挖掘历史数据模式和利用新物品的有限样本进行学习以及难以稳定地建模物品ID和边信息之间的关系等。

四、提出的方法

  • CVAR框架：提出了一种基于条件变分自编码器的模型无关推荐（CVAR）框架，用于为新物品的ID嵌入进行预热。CVAR可以装备在各种骨干模型上，且对训练数据没有冗余要求。

  • 结构设计：

    • 通过自动编码器结构为物品ID生成更好的嵌入并替换原始训练不充分的嵌入。
    • 按照CVAE的设计，将应用于物品ID的自动编码器公式化为特定形式，其中解码器以潜在表示和条件频率作为输入来重建物品ID嵌入。
    • 通过先验编码器将边信息嵌入映射到与物品ID相同的潜在空间，并使用Wasserstein损失函数对齐分布。
    • 将增强的预热后的物品ID嵌入作为物品ID输入到骨干模型中，计算CTR损失。
    • 损失函数：通过融合CTR损失、重建损失和Wasserstein损失来训练CVAR。
    • 训练与推理：CVAR与骨干模型的训练同时进行，在训练时优化相关参数以最小化损失。在推理阶段，对于新出现的物品，通过采样得到增强的预热ID物品并用于测试。

五、实验

  • 离线实验：

    • 实验设置：在两个公共数据集（MovieLens - 1M和Taobao Ad）上进行实验，采用不同的骨干模型（FM、DeepFM、Wide & Deep、DCN、IPNN、OPNN）和基线方法（DropoutNet、Meta embedding、MWUF），设置相同的参数和评估指标（AUC和F1）。
    • 实验结果：CVAR在大多数情况下优于其他基线方法，证明了其在初始化和预热阶段的有效性，同时验证了其兼容性和鲁棒性。不同的频率条件对CVAR的性能有影响，随着频率的增加，性能逐渐提高。
    • 在线A / B测试：在腾讯新闻推荐平台上进行了7天的在线A / B测试，将物品分为冷、暖 - a、 - b、 - c四组，关注曝光率、观看时间、页面（视频）浏览量等指标。结果表明，冷物品的指标显著改善，CVAR的收益随着曝光频率的增加逐渐减少，并且CVAR在一定程度上能够缓解马太效应。

六、结论

  • 提出了模型无关的CVAR用于解决物品冷启动问题，它使用潜在变量学习边信息的分布，并使用条件解码器生成理想的ID嵌入。
  • CVAR不仅学习历史数据中的模式，还利用骨干模型不断更新的物品ID嵌入来生成高质量的预热嵌入。
  • 从工业实践的角度出发，CVAR设计为与训练主预测模型使用相同的原始样本进行训练，是一个可应用于各种骨干模型的通用框架。
  • 广泛的离线实验和在线A / B测试表明了CVAR的有效性和兼容性。