LOW RANK ATTENTION即低秩注意力，是注意力机制在深度学习领域的一种改进形式，以下是关于它的详细介绍：

原理

  • 矩阵分解角度：在标准的注意力机制中，会计算一个大小为的注意力矩阵，其中是输入序列的长度。而低秩注意力通过矩阵分解的方式，将这个大的注意力矩阵近似分解为两个较小的矩阵和的乘积，即。这样就可以用较小的矩阵来表示原始的注意力矩阵，从而降低计算量和存储空间。

  • 余弦相似性角度：假设输入的实体被表示为相同维度的向量，有个这样的实体，用表示。可以用一个的矩阵来表示这些实体之间的余弦相似性，其中表示实体和之间的余弦相似性。为了高效处理，将分解为两个低秩矩阵和，为近似的秩，。

优势

  • 计算高效性：由于将大矩阵分解为小矩阵，在计算注意力得分等操作时，涉及的矩阵运算量大幅减少，从而加快了模型的训练和推理速度。

  • 内存经济性：降低了对内存的需求，使得模型能够处理更长的输入序列，或者在相同的硬件条件下可以使用更大的批量大小进行训练。

  • 性能保持性：在很多情况下，虽然进行了低秩近似，但仍然能够保持较好的模型性能，即能够捕捉到输入数据中的关键信息，保证模型的准确性。

应用

  • 自然语言处理：在机器翻译任务中，低秩注意力可以帮助模型更高效地处理长句子，快速聚焦于源语言句子中的关键部分，从而提高翻译质量。在文本生成任务中，能使模型更有效地利用上下文信息，生成更连贯、合理的文本。

  • 计算机视觉：在图像识别中，可用于聚焦图像中的关键区域，提高对图像特征的提取效率。在视频处理中，能够帮助模型更好地处理视频序列中的时间信息，例如在视频目标跟踪任务中，更准确地跟踪目标物体。

  • 其他领域：在生物信息学中，分析基因序列等生物数据时，低秩注意力可以帮助模型捕捉序列中的重要模式。在推荐系统中，能更好地对用户行为序列等数据进行建模，为用户提供更精准的推荐。

相关研究

  • The Low-Rank Bottleneck in Attention：该研究表明注意力层的秩对其表示能力有显著影响，低秩注意力在表示某些基于最近邻搜索的目标函数时，除非头数在嵌入维度上呈指数级增长，否则性能不如全秩注意力，但增加深度可以使低秩注意力在短序列上近似目标函数。

  • Low-rank Attention Side-Tuning for Parameter-Efficient Fine-Tuning：提出了低秩注意力侧调（LAST）方法，将可训练模块与预训练模型解耦，只训练由低秩自注意力模块组成的侧网络，在视觉适应任务上取得了较好的效果，能减少GPU内存占用并缩短训练时间。