《Online Continual Learning with Maximally Interfered Retrieval》论文总结

  • 摘要：本文提出了一种在在线持续学习中使用最大干扰检索（MIR）的方法，通过从先前的历史中选择受干扰最大的样本来进行回放，以减少遗忘并提高性能。文章在生成式回放和经验回放设置中对该方法进行了公式化，并通过实验证明了其有效性。

  • 相关工作：

    • 持续学习的主要挑战是灾难性遗忘，现有方法主要包括基于重放、动态架构和先验聚焦的方法。
    • 重放方法分为存储先前样本和使用生成模型两种，本文关注重放方法中的排练方法，并提出了比随机采样更好的策略来选择回放样本。
    • 近期研究还包括在持续学习中学习生成模型，如使用自编码器存储压缩表示等。

  • 方法：

    • 从回放记忆中进行最大干扰采样：在经验回放（ER）的背景下，根据估计的参数更新，找到损失受影响最大的前k个样本，使用两种评估标准和，并通过随机采样选择部分样本以减少计算成本。
    • 从生成模型中进行最大干扰采样：在生成模型中，通过最大化损失差异来找到最受干扰的数据点，同时考虑多样性约束和熵惩罚，使用编码器来更好地表示输入样本，并不断更新编码器和解码器以缓解灾难性遗忘。
    • 混合方法：结合自编码器和MIR搜索，在自编码器的潜在空间中进行搜索，并从存储的压缩记忆中选择最近邻样本，以利用两者的优势并避免训练复杂的生成模型。

  • 实验：

    • 数据集和基线：使用MNIST Split、Permuted MNIST、CIFAR - 10 Split和MiniImagenet Split数据集，与随机采样的经验回放、生成回放方法以及一些强基线进行比较，包括fine - tuning、iid online（上界）、iid offline（上界）和GEM等。
    • 经验回放：在MNIST Split和Permuted MNIST数据集上，ER - MIR在准确性和遗忘方面均优于ER；在CIFAR - 10数据集上，随着内存使用增加，ER - MIR的性能优势更明显；在增加迭代次数的实验中，ER - MIR和ER的性能均有所提升；在MiniImagenet Split数据集上，ER - MIR的遗忘率更低。
    • 生成回放：在MNIST数据集上，MIR在准确性和遗忘方面均优于基线；在Permuted MNIST数据集上，GEN - MIR取得了最佳性能；GEN - MIR在生成模型中也能减轻灾难性遗忘；消融实验表明，损失函数中的项对方法的成功起着重要作用。
    • 混合方法：在CIFAR - 10数据集上，通过先对输入数据进行自编码再传递给分类器，解决了分类器利用分布差异的问题，随着压缩样本数量增加，性能持续提升，AE - MIR在遗忘指标上有较大改善，但与真实图像仍存在差距。

  • 结论：

    • MIR方法在多个设置中能够减少遗忘并显著优于随机采样和标准基线。
    • 研究结果揭示了在在线持续学习中使用生成建模的可行性和挑战。
    • 混合方法展示了利用编码记忆实现更紧凑内存和更高效检索的初步成果。

综上所述，本文提出的MIR方法在在线持续学习中具有较好的性能和应用前景。