论文地址
[1905.09248] Practice on Long Sequential User Behavior Modeling for Click-Through Rate Prediction
论文介绍
“Practice on Long Sequential User Behavior Modeling for Click-Through Rate Prediction”由Qi Pi、Weijie Bian等人撰写。文章针对点击率（CTR）预测任务中长序列用户行为建模难题，提出机器学习算法与在线服务系统协同设计方案，经实验验证效果良好，已应用于阿里巴巴展示广告系统。
-
研究背景与挑战
- CTR预测的重要性：CTR预测对推荐系统和在线广告意义重大，深度学习推动了深度CTR模型发展，但复杂模型在线部署面临挑战。
- 长序列用户行为数据的难题：处理长序列用户行为数据时，系统延迟和存储成本随序列长度近似线性增加，现有模型难以应对。
-
相关工作
- 深度CTR模型：基于深度学习的CTR预测方法不断涌现，从学习特征交互到捕捉用户兴趣，但处理长序列行为数据时，存储和计算压力大。
- 长期用户兴趣建模：部分方法通过特征工程建模长期用户兴趣，基于深度学习的方法在长序列数据处理上存在局限。
- 记忆网络：在NLP领域广泛应用，部分研究用于用户兴趣建模，但忽视长期兴趣建模和实际部署问题。
-
实时CTR预测系统
- 系统挑战：长序列用户行为数据带来存储和延迟挑战，如阿里巴巴系统中，存储长序列行为数据成本高，现有模型处理长序列时延迟大幅增加。
- 用户兴趣中心（UIC）：设计UIC模块，独立于请求更新用户兴趣表示，为实时CTR预测消除延迟，显著降低模型延迟。
-
多通道用户兴趣记忆网络（MIMN）
- 学习长序列数据的挑战：简单RNNs处理长序列效果不佳，注意力机制虽增强模型表达能力，但带来存储和计算问题。
- MIMN模型设计：借鉴NTM思想，由处理用户行为序列的左子网络和传统Embedding&MLP范式的右子网络组成。
- 关键组件：提出内存利用正则化平衡内存槽写入权重方差，增强内存存储能力；设计内存归纳单元（MIU）捕捉高阶信息，提升用户兴趣提取能力。
- 在线服务实现：MIMN在UIC服务器和RTP服务器分布式实现，增量计算更新用户兴趣表示，减少数据存储量。
-
实验评估
- 实验设置：使用两个公共数据集和阿里巴巴在线展示广告系统的工业数据集，以AUC为评估指标，对比多种模型。
- 实验结果：MIMN在公共数据集和工业数据集上均优于对比模型，消融实验验证了各模块有效性。在工业系统中，MIMN相比DIEN，AUC提升0.01，在线A/B测试中，CTR提升7.5%，RPM提升6%。
- 部署经验：同步UIC和RTP服务器可降低异步更新风险；去除大促数据效果更好；采用预热策略初始化UIC，设计回滚策略应对异常情况。
-
研究结论：提出的UIC和MIMN协同设计方案有效解决长序列用户行为建模难题，为工业应用开辟新方向，未来将在算法、训练和在线服务系统方面进一步研究。