[2408.08913] MLoRA: Multi-Domain Low-Rank Adaptive Network for CTR Prediction
“MLoRA: Multi-Domain Low-Rank Adaptive Network for Click-Through Rate Prediction”由Zhiming Yang等人撰写。文章提出了用于点击率（CTR）预测的多域低秩自适应网络（MLoRA），通过为每个域引入专门的LoRA模块，提升了模型在多域CTR预测任务中的性能，并在多个数据集和实际生产环境中验证了其有效性。
-
研究背景
- CTR预测的重要性：CTR预测在个性化推荐、信息检索和在线广告等领域至关重要，影响网站收益、用户满意度和留存率。
- 多域CTR预测的挑战：现实中多域CTR预测普遍存在，但传统单域方法和现有多域方法存在不足。传统单域方法将多域独立处理或混合数据训练统一模型，分别面临数据稀疏和无法捕捉域差异问题；现有多域方法虽引入共享和特定部分，但导致模型参数剧增，小数据量域学习不足。
-
相关工作
- CTR预测方法：单域方法从传统浅层转向深度学习技术，如PNN、WDL等通过不同结构增强特征交互；多域方法包括域泛化、STAR、MMOE等，旨在解决多域数据稀疏和差异问题，但各有缺陷。
- 低秩适配器（LoRA）：LoRA是一种微调方法，通过冻结预训练模型权重，注入低秩分解矩阵A和B，减少微调参数数量，提高下游任务微调效率。
-
MLoRA方法
- 问题定义：明确模型输入（用户、物品、上下文特征等）、预测目标（用户与物品交互概率）以及多域建模时的计算方式。
- 低秩适配器（LoRA）原理：基于对全连接层参数矩阵的改进，将参数更新表示为低秩矩阵乘积，初始化时A为高斯分布，B为零，前向传播时在原权重基础上加上低秩矩阵与输入的乘积。
- MLoRA架构与训练策略：将模型每层分为共享和个性化部分，为每个域构建低秩矩阵模型。采用两阶段训练策略，预训练阶段训练骨干网络学习通用信息，微调阶段冻结骨干网络，更新低秩矩阵A和B学习域特定信息。同时引入温度系数α动态调整低秩矩阵的秩r 。
-
实验
- 实验设置：基于Taobao、Amazon和Movielens构建多域数据集；选择单域和多域先进方法作为基线；在TensorFlow 1.12上用RTX 2080Ti GPU训练，设置学习率、辍学率等超参数，采用WAUC作为评估指标。
- 主要实验结果：MLoRA辅助下所有方法在三个数据集上性能提升，平均提高0.5%。在Amazon - 6数据集上提升最高，Movielens - gen数据集上提升最低。在Taobao - 10数据集各域上，MLoRA均有性能提升，数据量小、差异大的域提升更明显。
- 消融实验：调整温度系数α改变r值，发现不同模型有不同最优α值，复杂模型需更大r值（更小α值）。增加域数量，MLoRA性能提升在域数量少更显著。增加预训练模型隐藏层神经元数量，模型性能提升，表明大规模数据需更复杂网络。
- 行业应用：MLoRA部署在Alibaba.COM电商网站，在线A/B测试显示，集成10个核心推荐域，额外参数仅增加1.76%，CTR提升1.49%，订单转化率提升3.37%，付费买家数量提升2.71%。
-
研究结论：MLoRA是通用框架，为各域配置LoRA适配器，减少模型参数，缓解数据稀疏和学习不足问题。在公共数据集和实际生产环境实验中展现优势和可行性。未来将优化骨干模型与LoRA网络协作，进一步解决数据稀疏和学习能力不足问题。