博客
  • 首页
  • 推荐
  • 标签
  • 轻览
  • 日历

Attention机制

标签: 算法 , NLP   更新于: 2024/08/16 阅读:2163 原文发表于:2018-03-21

目录

  • 目录
  • additive attention
  • multiplicative(dot product) attention
    • Scaled Dot-Product Attention
  • self-attention
  • key-value attention
  • 参考

additive attention

multiplicative(dot product) attention

Scaled Dot-Product Attention

avatar

avatar

self-attention

key-value attention

参考

  • Attention is all you need模型笔记 - 知乎
  • 自然语言处理中的自注意力机制 Self-Attention Mechanism
  • 神经网络机器翻译Neural Machine Translation(2): Attention Mechanism
  • 从三大顶会论文看百变Self-Attention
  • 再见Attention:建模用户长期兴趣的新范式

  • An overview of Attention

相关文档

  • 论文 | FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness

算法相关文章

  • 维度坍塌(Dimensionality Collapse)
  • Fisher信息矩阵(Fisher Information Matrix, FIM)
  • Meta的M-Falcon推理算法
  • 匈牙利算法
  • Sparse Adam优化算法
  • 图灵完备性
  • Smith-Waterman算法
  • 分层损失聚类算法
  • Meta Learning——MAML
  • SLAM(Simultaneous Localization and Mapping,即时定位与地图构建)技术

NLP相关文章

  • 基于KARP(Kernelized Associative Retrieval Processor)算法的序列长度平衡技术
  • BERT中的[CLS]
  • Masked Language Model(MLM)掩码语言模型
  • DSSM
  • BPE(Byte pair encoding)分词
  • Speculative decoding(推测性解码)
  • NLP评估指标之ROUGE
  • ELECTRA+Biaffine
  • Self Instruct技术
  • SO-PMI(Semantic Orientation Pointwise Mutual Information,情感倾向点互信息算法)

最近热门

  • [TODO] 逻辑回归
  • SSB - Sample Selection Bias - 样本选择偏差问题
  • 实战 - 物品推荐
  • 1.3.1 基础语法
  • 1.1 scala基础教程
  • python库:Google的ABSL(Abseil)库
  • Code Lint(代码检查):一种通过静态分析工具检测代码缺陷的技术
  • 地理坐标系统(WGS、GCJ、BD等)
  • vue.js 构建导航栏
  • visual studio code

最常浏览

  • 016 推荐系统 | 排序学习(LTR - Learning To Rank)
  • 偏微分符号
  • i.i.d(又称IID)
  • 利普希茨连续条件(Lipschitz continuity)
  • (error) MOVED 原因和解决方案
  • TextCNN详解
  • 找不到com.google.protobuf.GeneratedMessageV3的类文件
  • Deployment failed: repository element was not specified in the POM inside distributionManagement
  • cannot access com.google.protobuf.GeneratedMessageV3 解决方案
  • CLUSTERDOWN Hash slot not served 问题原因和解决办法
×

如侵犯您的权益,请联系本站删除!

Copyright © 2023-2024