“Feature Decomposition for Reducing Negative Transfer: A Novel Multi - task Learning Method for Recommender System”提出了一种名为特征分解网络（FDN）的多任务学习方法，用于解决推荐系统中多任务学习的负迁移问题。通过实验证明了该方法的有效性。

  1. 研究背景

    • 推荐系统中多任务学习（MTL）虽取得进展，但任务间相关性复杂，现有MTL模型存在不同程度负迁移，影响优化。
    • 负迁移根源是特征冗余，即不同任务学习的特征相互干扰。

  2. 相关工作

    • 许多基于深度学习的MTL模型被提出，如ESMM、SNR、MSSM等，但存在不支持其他任务、可扩展性差、参数多等问题。

  3. FDN方法

    • 特征冗余问题：专家特征融合导致负迁移，即使划分专家网络，也因缺乏明确约束存在特征冗余，削弱MTL表示能力。

    • 分解对（DCP）

      • 结构：包含特定任务专家和共享任务专家，分别提取特定任务特征和共享任务特征，然后融合并输入预测层。

      • 约束条件

        • 正交约束：使两专家提取特征正交，分解原始特征。
        • 辅助任务约束：为特定任务专家引入辅助任务，诱导其提取显著特征。
        • 任务共享特征融合约束：不同DCP的共享专家融合，诱导模型学习共享特征。 - 总损失函数：$L = L_{task} + L_{orth} + L_{aux}$

  4. 实验结果

    • 合成数据集实验

      • 数据集生成：生成两个回归任务及理想合成特征，包括三个数据集。

      • 性能比较：FDN在均方误差（MSE）指标上显著优于其他基线方法，各约束条件都对性能有贡献。

        • Ali - CCP数据集实验

      • 实验设置：以MMoE为基线模型，与CGC、PLE比较，设置不同专家数量，从淘宝推荐系统流量日志获取数据。

      • 实验结果：FDN在点击率（CTR）和转化率（CVR）上优于其他模型，能更好地解耦任务特定和共享特征，各组件对性能有贡献，且参数最少。