本文主要介绍序列建模优化的持续更新序列建模相关的模型和方法。
优化思路
添加Side Info
-
i2i信息
-
添加时间戳信息,或者距离当前的时间差(基于时间戳计算)
-
index信息,position Embedding
-
side info过MLP
更多序列
-
负反馈:曝光未点击
-
类目筛选序列
-
长期序列
-
实时序列
-
全域序列
建模方法
self attention
target attention
cross attention
attention的一些建模方法
常见方法
DIN
DSIN
DIEN
BERT4REC
BST
CNN
另外一种方案是通过卷积神经网络对序列进行建模,使用多个kernel来提取特征。