“Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting”由Haoyi Zhou等人撰写，主要聚焦于长序列时间序列预测（LSTF）问题，提出了Informer模型以提升预测能力。
-
研究背景与挑战
- LSTF的重要性与现有方法的局限：许多领域都需要长序列时间序列预测，但现有方法大多针对短期预测设计。随着序列增长，现有方法预测能力受限，如在电力变压器站温度预测中，LSTM模型在预测长度大于48点时性能显著下降。
- Transformer在LSTF中的问题：Transformer虽在捕捉长距离依赖方面有潜力，但存在计算复杂度高（自注意力机制的二次计算导致时间和内存复杂度为$O(L^{2})$）、内存瓶颈（堆叠层时总内存使用为$O(J \cdot L^{2})$）和预测长输出时速度骤降（动态解码慢）等问题，限制了其在LSTF中的应用。
-
Informer模型
- 整体架构：采用编码器 - 解码器架构，能处理长序列输入并生成长序列输出。
-
高效自注意力机制（ProbSparse Self-attention）
- 原理：通过测量查询的稀疏性，允许每个键仅关注主导查询，实现时间和内存复杂度为$O(L log L)$。
-
优势：在依赖对齐上性能与标准自注意力相当，但计算和内存效率更高。
- 编码器（Encoder）
-
自注意力蒸馏（Self-attention Distilling）：利用该操作提取主导特征，减少输入时间维度，降低内存使用，增强对长序列输入的处理能力。
-
层堆叠复制（Layer Stacking Replicas）：通过构建主栈副本，逐步减少自注意力蒸馏层数，增强蒸馏操作的稳健性。
- 解码器（Decoder）
-
生成式推理（Generative Inference）：采用生成式风格解码器，通过一次前向操作预测长序列输出，避免了传统动态解码中的累积误差，提高了推理速度。
- 输入表示（Input Representation）：使用统一输入表示，增强时间序列输入的全局和局部上下文信息。
-
实验结果
- 数据集与实验设置：在四个数据集（ETT、ECL、Weather、ETTm）上进行实验，与多种方法（如ARIMA、Prophet、LSTMa、LSTnet、DeepAR等）比较，采用MSE和MAE作为评估指标，模型在单个Nvidia V100 32GB GPU上训练和测试。
-
实验结果分析
- 单变量时间序列预测：Informer在所有数据集上显著提高了推理性能，预测误差增长缓慢；优于其标准退化版本Informer†、相关工作LogTrans和Reformer，以及循环神经网络LSTMa；相比DeepAR、ARIMA和Prophet，MSE大幅降低。
- 多变量时间序列预测：Informer同样表现出色，优于其他方法，但性能提升幅度较单变量情况有所降低，可能与特征维度预测能力的各向异性有关。
- 参数敏感性分析：输入长度方面，预测短序列时增加编码器/解码器输入长度最初会降低性能，预测长序列时则相反；采样因子增加时性能略有提升并趋于稳定；层堆叠组合中，加入L和L/4的策略最稳健。
- 消融实验：ProbSparse自注意力机制性能优于同类方法；自注意力蒸馏在处理长序列输入时有益；生成式风格解码器能捕获任意输出间的长距离依赖，避免误差累积。
- 计算效率：训练阶段，Informer在基于Transformer的方法中训练效率最高；测试阶段，生成式解码使其速度远超其他方法。
-
研究结论：Informer模型通过设计ProbSparse自注意力机制、蒸馏操作和生成式解码器，有效解决了Transformer在LSTF中的问题，提高了预测能力，为长序列时间序列预测提供了新的解决方案。