一、论文题目

《Deep Session Interest Network for Click - Through Rate Prediction》

二、作者

Yufei Feng，Fuyu Lv，Weichen Shen，Menghan Wang，Fei Sun，Yu Zhu，Keping Yang

三、研究背景与动机

  • 点击率（CTR）预测在推荐系统中至关重要，现有CTR模型利用用户的序列行为来反映其动态和演变的兴趣，但忽略了序列的内在结构，即序列由会话组成，而用户在每个会话中的行为具有高度同质性，跨会话则具有异质性。

四、方法

  • BaseModel：介绍了基本的深度CTR模型，包括特征表示、嵌入、多层感知机（MLP）和损失函数。特征表示使用三组特征，包括用户画像、项目画像和用户行为；嵌入将大规模稀疏特征转换为低维密集向量；MLP通过连接和激活函数处理嵌入后的特征；损失函数使用负对数似然函数。
  • DSIN模型概述：DSIN由两部分组成，一部分是用户画像和项目画像的嵌入向量，另一部分是处理用户行为的四个层，包括会话分割层、会话兴趣提取层、会话兴趣交互层和会话兴趣激活层。
  • 会话分割层：根据相邻行为的时间间隔超过30分钟的原则，将用户的行为序列划分为会话。
  • 会话兴趣提取层：使用带偏差编码的多头自注意力机制来提取会话兴趣，减少无关行为的影响。
  • 会话兴趣交互层：应用双向LSTM（Bi - LSTM）来捕捉会话兴趣之间的顺序关系。
  • 会话兴趣激活层：使用局部激活单元根据目标项目自适应地学习各种会话兴趣的影响。

五、实验

  • 数据集：使用广告数据集和阿里巴巴的推荐数据集进行实验。
  • 竞争对手：包括YoutubeNet、Wide＆Deep、DIN、DIEN等模型。
  • 评估指标：使用AUC（ROC曲线下的面积）来评估模型的排名能力。
  • 实验结果：DSIN在两个数据集上均取得了最好的结果，优于其他竞争对手。

  • 进一步讨论：

    • 多会话的效果：将用户的行为序列划分为多个会话可以提高DSIN的性能，因为用户在每个会话中的行为通常是同质的，并且会话兴趣更适合序列建模。
    • 会话兴趣交互层的效果：通过该层，用户的会话兴趣与上下文信息混合，变得更具表现力，从而提高了DSIN的性能。
    • 偏差编码的效果：与二维位置编码不同，偏差编码还捕获了用户会话的偏差，成功捕获了会话的顺序信息，提高了DSIN的性能。
    • 可视化：可视化了自注意力和激活单元的工作情况，展示了自注意力机制如何提取用户在每个会话中的兴趣，以及局部激活单元如何使与目标项目相关的会话兴趣更突出。

六、结论

  • 提出了Deep Session Interest Network（DSIN），通过自注意力机制和偏差编码提取每个会话的用户兴趣，使用Bi - LSTM捕捉会话兴趣的顺序关系，使用局部激活单元聚合用户不同会话兴趣的表示。
  • 实验结果表明DSIN在广告和推荐数据集上均有效。
  • 未来将关注利用知识图谱作为先验知识来解释用户的历史行为，以实现更好的CTR预测。