这篇论文提出了一种多面分层多任务学习模型(MFH),用于解决多任务学习中大量任务的高效学习问题。具体内容如下:
-
研究背景
- 多任务学习(MTL):是一种通过任务间的合作学习提高模型泛化能力的学习框架,已应用于多个领域。现有研究多关注少量任务间的“微观”共享学习,对于大量任务的处理缺乏研究,且现有MTL技术在任务数量增加时扩展性不佳。
- 局部过拟合:在推荐系统中,新用户和新物品等数据较少的区域容易出现局部过拟合现象,传统方法难以有效缓解。
-
相关工作
- 多任务学习模型:包括Shared-bottom、CrossStitch Network、Sluice Network等,这些模型多关注小任务组,且常以2个任务为例进行评估。
- 局部过拟合研究:局部过拟合尚未被正式提出,传统方法难以有效解决。
-
MFH模型
- 任务的面(Facet):任务具有多个正交维度的面,每个面有多个分区,面的组合定义了具体任务,任务间沿面的维度存在相关性。
- 分层MTL(H-MTL):采用两级树结构,在用户行为面和用户组面分别学习任务关系,并分层共享面的潜在表示。
- 多面分层MTL(MFH):由多个嵌套的H-MTL树组成,进一步提高了信息共享和合作学习的效率,可扩展到任意数量的正交树,并能定制任务塔和MLP的异构性。
-
实验
- 在工业视频推荐系统上的评估:收集了腾讯短视频APP的用户日志数据集,对不同的MTL模型进行离线和在线评估,结果表明MFH在所有任务和用户组上均显著优于现有模型,尤其在新用户上表现突出,同时缓解了局部过拟合现象。
- 在公共数据集上的评估:使用Ali-CCP数据集进行实验,结果表明MFH显著提高了所有六个任务的AUC。
- 与Biasnet的比较:MTL方法比Biasnet更通用,离线评估结果表明MFH在多数任务上优于Biasnet。
-
结论:提出的MFH模型从宏观角度提高了MTL的效率和可扩展性,在工业和公共数据集上的实验结果表明MFH显著优于现有模型,未来工作将研究在MFH树结构上应用元学习的可能性。