[2411.10057] KuaiFormer: Transformer-Based Retrieval at Kuaishou

「快手」召回新范式｜KuaiFormer: Transformer-Based Retrieval at Kuaishou

“KuaiFormer: Transformer-Based Retrieval at Kuaishou”由Chi Liu等人撰写，在短视频推荐领域，传统检索方法面临诸多挑战，难以满足用户兴趣捕捉和大规模数据处理需求。本文提出基于Transformer的KuaiFormer框架，通过创新设计有效提升了检索性能，并在快手短视频推荐系统中取得良好应用效果，为相关研究和应用提供了重要参考。

  1. 研究背景与挑战

    • 短视频推荐需应对内容多样和用户兴趣多变问题，传统方法如SASRec、Bert4Rec等在捕捉用户多兴趣和处理长序列时存在局限。
    • 在大规模推荐系统中应用Transformer面临训练集过大、用户多兴趣捕捉困难及长序列建模计算资源消耗大等挑战。

  2. KuaiFormer方法

    • 基础架构：包含短视频嵌入模块（分别处理离散和连续属性）和Transformer模块（基于Llama架构提取用户兴趣）。
    • 长序列处理：自适应项目压缩机制，依时间将输入序列分组压缩，减少早期视频对序列长度影响，提升效率。
    • 多兴趣捕捉：引入多个可学习查询令牌，结合因果掩码机制和多兴趣训练策略，更好地提取和分离用户兴趣。
    • 稳定训练：采用带LogQ校正的批内softmax和标签平滑技术，缓解采样偏差和训练噪声，实现大规模数据集上稳定训练。

  3. 部署架构：KuaiFormer在工业流视频推荐系统中在线学习训练，与其他检索路径协同工作，经多阶段排名后向用户推荐，其参数更新和数据处理流程高效有序。

  4. 实验结果

    • 离线性能：与多种强基线方法对比，KuaiFormer在HR@50、HR@100等指标上表现更优，验证了其多兴趣模块和Transformer编码的有效性。
    • 在线A/B测试：在快手不同页面场景下，视频观看时间、点赞、关注等指标显著提升，表明能满足用户需求，提升用户参与度和满意度。
    • 超参数影响：序列长度、查询令牌数和层数增加在一定范围内提升准确性，但存在收益递减；自适应压缩策略可提升模型性能。

  5. 研究贡献：提出的KuaiFormer是工业规模推荐系统中首个纯Transformer实时检索模型，通过实验验证了其优势，为相关研究和工程师提供了应用Transformer优化推荐系统的实践指导。