论文地址：[2312.06424] Cross Domain LifeLong Sequential Modeling for Online Click-Through Rate Prediction
“Cross-Domain LifeLong Sequential Modeling for Online Click-Through Rate Prediction”提出了用于跨域终身序列建模（LSM）的终身交叉网络（LCN），以解决社交媒体平台中跨域点击率（CTR）预测问题。创新的CRP和LAP模块提升了模型性能，在实验中表现优异，为跨域推荐系统提供了有效方法。
-
研究背景
-
CTR预测的重要性与挑战：CTR预测是许多应用的关键任务，其精度依赖于对用户意图的理解。社交媒体平台的发展使数据量和用户行为复杂性增加，跨域行为序列建模成为挑战，传统方法在跨域LSM中面临问题。
-
相关工作的局限性：现有LSM和跨域推荐方法未充分解决跨域LSM的独特挑战，如GSU中项目嵌入的跨域泛化性差，ESU在跨域序列中处理噪声的能力不足。
-
方法介绍
-
模型概述：LCN由Cross Representation Production（CRP）模块和Lifelong Attention Pyramid（LAP）模块组成，旨在提高跨域项目相似性学习和用户兴趣提取能力。
-
CRP模块
- CPR是一个联合训练的子网络（构造对比学习loss，辅助训练），其目标是通过跨域连接item学习item embedding，以此增强从源域中的终身序列识别出与target item最相关的item的表达能力。
- 正负采样：基于用户短期行为序列跨域采样正负样本对，包括域内和跨域的正样本对及相应负样本对，利用用户短期兴趣稳定性假设。
- 损失函数：采用对比损失函数，综合不同类型正样本对的损失，促使模型最小化正样本对的余弦距离，增强项目嵌入学习。
-
LAP模块
- LAP利用三个级联注意力层从长序列中逐级提取与目标item最相关的子序列，从而精准捕捉用户的兴趣。
- 完整范围注意力（CSA）：作为第一层，对整个终身序列进行宽泛搜索，通过简单内积计算注意力分数，筛选出前$K_1$个项目进入下一层，并生成初步兴趣表示。
- 中范围注意力（MSA）：中间层引入额外上下文信息，通过更复杂的注意力计算进一步筛选项目，缩小最终注意力层的项目池，增强模块一致性。
- 聚焦范围注意力（FSA）：最后一层采用类似多头变压器解码器的注意力技术，对筛选后的项目进行精细处理，生成最终兴趣表示，并整合各级结果确保梯度传播。
-
实验设置与结果
-
实验设置
- 数据集：使用淘宝和微信视频号的数据集，分别进行划分和预处理，构建源域、目标域及不同类型的行为序列。
- 对比方法：选择SIM Soft、ETA、SDIM、TWIN等SOTA方法进行比较，遵循其原始参数配置。
- 评估指标：离线采用AUC、GAUC和Logloss，在线采用CTR和停留时间，并监测推理延迟。
- 参数设置：介绍网络架构、特征处理、模型初始化、优化器及训练设备等参数设置。
-
模块分析
- CRP模块：消融研究表明对比损失对性能提升有重要作用，可视化显示其增强了源域项目嵌入质量，在不同LSM框架中集成也能提高性能。
- LAP模块：消融实验证明其优于基线模型，对$K_1$和$K_2$不敏感，一致性分析显示MSA提高了各层一致性，在单域LSM中也有较好表现。
- 整体性能：在公共和工业数据集上，LCN均优于其他方法，工业数据集上的优势更明显，体现了其在实际场景中的有效性。
- 在线测试：在线A/B测试中，LCN - 200 - 50在CTR和停留时间上有显著提升，推理延迟增加可忽略不计。