论文地址

[2303.06095] HiNet: Novel Multi-Scenario & Multi-Task Learning with Hierarchical Information Extraction

论文总结

《HiNet: Novel Multi - Scenario & Multi - Task Learning with Hierarchical Information Extraction》总结

  1. 研究背景：

    • 多场景推荐问题：传统的为每个场景单独训练排名模型的方法存在无法利用场景间共享知识、长尾场景数据不足以及计算和维护成本高等问题，而简单地在合并数据上训练一个共享排名模型又不能有效捕捉每个场景的独特属性。
    • 多场景多任务学习的重要性：用户在每个场景中的满意度和参与度通常有多种需要同时优化的指标，因此需要一个有效的统一框架来解决多场景中优化各种指标的复杂性。

  2. 相关工作：

    • 多场景学习：HMoE利用多任务混合专家来隐式识别任务之间的区别和共性，STAR包含共享网络和为每个场景设计的特定网络结构，以捕获每个场景的特征并建模不同场景之间的共性，但它们在捕捉场景的共享和特定信息方面能力不足，且STAR没有考虑到场景之间的信息表示。
    • 多任务学习：Shared Bottom集中于共享底层特征信息来建模不同任务，但限制了模型对不同任务的学习能力；MMoE通过灵活的门控网络来表达底层特征信息，提高了模型的表示能力，但会出现跷跷板现象；PLE通过明确分离共享组件和任务特定组件来解决负转移问题。

  3. HiNet方法：

    • 问题定义：，其中表示第个场景指示器，是第个场景下任务的预测，表示输入的密集特征。
    • 分层信息提取网络：
      • 场景提取层：包括场景共享专家网络、场景特定专家网络和场景感知注意力网络（SAN），用于在场景之间转移和共享有价值的信息，提取场景特定特征。
      • 任务提取层：采用定制门控（CGC），由任务共享专家网络和任务特定专家网络组成，以解决多任务学习中的负转移问题。
    • 训练目标：，其中表示当前场景中任务的数量，是控制不同损失比例的超参数，是交叉熵损失函数。

  4. 实验：

    • 实验设置：
      • 数据集：收集了美团美食平台上六个场景的工业用户日志数据。
      • 模型比较与实现细节：将HiNet与其他最先进的模型进行比较，包括多任务学习模型（Shared Bottom、MMoE、PLE）和多场景学习模型（HMoE、STAR），并对这些基线模型进行了自适应扩展。
      • 评估指标：使用ROC曲线下的面积（AUC）作为评估指标，对每个模型的超参数进行调整，并进行10次重复实验，使用Friedman检验验证模型性能的有效性。
    • 性能比较：HiNet在所有场景的CTR和CTCVR任务指标上均优于其他基线模型，能够更好地捕捉和利用场景和任务之间的相关性，有效抵消负转移现象，在长尾场景学习中也表现出有效性。
    • 消融研究：
      • 关键组件：去除分层结构、SAN组件、任务信息提取层的门控网络、场景信息提取层的门控网络以及场景和任务信息提取层的门控网络，实验结果表明分层信息提取结构和SAN模块能有效提高模型性能，门控网络能使HiNet有效区分专家网络表示中的重要信息。
      • 超参数：实验表明随着子专家网络或专家网络数量的增加，模型性能提高，但更多的专家网络会导致模型参数增加，需要更多的训练数据，因此专家网络的数量可以作为控制实际性能和模型大小之间权衡的超参数。
    • 模型复杂度：HiNet与其他模型在参数数量、训练时间和推理时间上的差异不显著，在实际应用中是可行的。
    • SAN可视化：通过热图直观展示了场景之间的相关性，不同场景对彼此的贡献程度不同。

  5. 在线A / B测试：

    • 在美团的场景a和场景b中部署HiNet进行了一个月的在线A / B测试，结果表明HiNet在CTR和CTCVR方面取得了相对改进，目前已成为主要流量模型，在订单数量上有显著提升。

  6. 结论：

    • HiNet利用分层优化架构来建模多场景和多任务问题，并设计了SAN模块来增强场景的表示学习能力，离线和在线实验验证了其优越性，目前已在美团的推荐系统中全面部署。

参考