论文地址

论文简介

这份文件是一篇关于在线大规模推荐系统的学术论文，标题为“A Dual Augmented Two-tower Model for Online Large-scale Recommendation”，作者是Yantao Yu, Weipeng Wang, Zhoutian Feng, Daiyue Xue，来自中国的美团北京。以下是该论文的核心内容概述：

摘要：

  • 论文提出了一种新型的推荐系统模型，名为Dual Augmented Two-tower Model (DAT)，用于处理大规模数据集。
  • 该模型通过集成自适应模仿机制（Adaptive-Mimic Mechanism, AMM）和类别对齐损失（Category Alignment Loss, CAL）来解决传统双塔模型中信息交互不足和类别数据不平衡的问题。
  • 通过在大规模数据集上的离线实验和在线A/B测试，证明了DAT模型在提高推荐质量方面的优越性能。

关键词：

  • 推荐系统
  • 信息检索
  • 神经网络

1. 引言：

  • 论文讨论了在大规模推荐系统中，如何从大量项目中实时准确地筛选出用户感兴趣的项目。
  • 介绍了两阶段架构的推荐系统，包括检索模型和排序模型，并强调了检索阶段的质量对整个系统的重要性。

2. 模型架构：

  • 描述了Dual Augmented Two-tower Model的结构，包括问题陈述、模型框架、嵌入层、双增层、自适应模仿机制（AMM）、类别对齐和模型训练。
  • 详细讨论了如何通过AMM和CAL来增强模型的信息交互和处理类别不平衡问题。

3. 实验：

  • 在两个大规模数据集上进行了广泛的在线和离线实验，以验证DAT模型的设计合理性。
  • 比较了DAT与其他几种推荐系统模型（如WALS、YouTubeDNN、FM、Two-tower Model和MIND）的性能。
  • 实验结果表明，DAT在提高点击率（CTR）和成交总额（GMV）方面优于基线模型。

4. 结论：

  • 论文总结了DAT模型在工业推荐系统中的有效性，并强调了AMM和CAL在提高模型性能方面的重要性。

参考文献：

  • 列出了与推荐系统相关的参考文献，包括矩阵分解技术、深度学习在推荐系统中的应用、大规模相似性搜索等。

这篇论文的主要贡献在于提出了一个新的推荐系统模型，该模型通过增强双塔模型的信息交互和处理类别不平衡问题，提高了在线大规模推荐系统的性能。

AMM和CAL

这篇论文中提到的自适应模仿机制（Adaptive-Mimic Mechanism, AMM）和类别对齐损失（Category Alignment Loss, CAL）是Dual Augmented Two-tower Model (DAT)的关键组成部分，它们共同作用以提高推荐系统的性能。以下是它们具体的工作方式：

  1. 自适应模仿机制（AMM）：

    • 目的：AMM旨在通过为每个查询（query）和物品（item）定制一个增强向量（augmented vector），来解决双塔模型中两塔之间信息交互不足的问题。
    • 工作原理：对于每个带有正标签的样本，AMM根据另一塔的输出表示向量来更新增强向量。这样，一个塔的输入特征（增强向量）就包含了另一塔的有价值信息，隐式地模拟了两塔之间的信息交互。
    • 模仿损失（Mimic Loss）：AMM利用模仿损失来使增强向量适应另一塔中对应查询或物品的所有正交互。模仿损失定义为增强向量和查询/物品嵌入向量之间的均方误差。
    • 停止梯度策略（Stop Gradient Strategy）：为了防止模仿损失的梯度流回到查询/物品嵌入向量，AMM采用了停止梯度策略，从而在更新增强向量的同时保持嵌入向量的稳定。

  2. 类别对齐损失（CAL）：

    • 目的：CAL旨在解决物品类别分布极不平衡的问题，通过将一个类别（数据量最大的类别）学到的知识转移到其他类别，来提高模型在数据量较小的类别上的性能。
    • 工作原理：在训练阶段，对于每个批次，选取数据量最大的类别的物品表示来形成主要类别集，而其他类别的物品表示形成各自的类别集。然后，CAL定义为主要类别和其他类别特征的二阶统计量（协方差）之间的距离。
    • 协方差矩阵：CAL通过计算主要类别和其他类别的协方差矩阵，并最小化它们之间的差异来实现类别对齐。

通过AMM和CAL的结合使用，DAT模型不仅能够增强查询和物品之间的信息交互，还能够提高对不平衡类别数据的处理能力，从而在大规模推荐系统中实现更好的推荐效果。