[2502.05523] Adaptive Domain Scaling for Personalized Sequential Modeling in Recommenders
“Adaptive Domain Scaling for Personalized Sequential Modeling in Recommenders”提出了自适应域缩放（ADS）模型，用于解决多域推荐系统中的个性化序列建模问题。该模型通过两个关键模块增强多域任务中理解用户意图的能力，在多个数据集上的实验和实际业务场景应用验证了其有效性。
-
引言：随着数字内容增长和互联网普及，推荐系统在提升用户体验、缓解信息过载方面至关重要。像抖音这样的超级应用存在多域推荐问题，数据分布差异大。现有方法多关注复杂网络结构，忽视多域顺序建模。基于目标注意力的顺序建模方法重要性高，但现有方法较少考虑多域差异影响。当前推荐系统的共享嵌入范式在序列表示和候选项目个性化方面存在不足，本文提出ADS模型，通过个性化目标注意力建模，挖掘个性化建模能力，提升多域任务中理解用户意图的准确性和适应性。
-
方法
- 问题公式化：聚焦推荐系统中的排名建模任务，以点击率（CTR）预测为例，通过特定的嵌入函数和MLP变换函数预测概率。
- ADS模型：由个性化序列表示生成（PSRG）和个性化候选表示生成（PCRG）两个主要部分构成。PSRG利用共享 - 私有学习结构生成动态行为项目嵌入；PCRG捕捉序列项目的不同方面，为每个序列项目生成多个自适应查询。
- 目标感知注意力与预测：利用PCRG和PSRG生成的个性化查询和序列项目，通过目标注意力模块计算注意力权重并聚合序列，结合其他特征进行预测，使用二元交叉熵函数计算训练损失。
-
实验
- 实验设置：在淘宝公开数据集和抖音两个十亿规模的工业数据集上进行实验，对比多种代表性模型，采用AUC指标评估排名模型性能，引入相对改进（Imp.）衡量相对AUC增益。
- 实验结果：目标注意力的顺序建模在排名模型中作用关键；现有多域方法对排名模型有积极影响；ADS在不同组中性能最佳，在各工业数据集的每个域上也优于对比方法。
- 消融研究与敏感性分析：在抖音广告数据集上的消融研究表明，PCRG和PSRG模块对ADS性能有积极贡献。对ADS中块数的敏感性分析显示，随着个性化能力增强，性能和训练成本增加，但即使训练成本小幅增加，模型性能仍有显著提升。
- 在线部署与A/B实验：ADS模型在线部署采用多GPU策略，在抖音广告和电商系统中进行A/B实验，结果表明ADS在多个指标上显著优于基线，验证了其在实际工业场景中的有效性。
-
相关工作：排名模型分为特征交互模型和目标感知顺序模型，但多未考虑多域问题。多域推荐方法针对复杂网络结构有所发展，但顺序建模的多域学习较少被关注。与现有方法不同，ADS通过生成元网络变换序列嵌入，提供更灵活的共享 - 私有建模结构，且为不同序列项目生成多个查询，实验证明其优越性。
-
结论：提出的ADS模型通过PSRG和PCRG分别生成个性化序列项目和候选目标项目表示。离线实验表明其优于现有方法，在线实验验证了有效性。ADS已在字节跳动的多个推荐服务中全面部署，推动了多域排名从顺序建模角度的发展，未来将探索更高效的自适应建模结构。