论文地址

https://arxiv.org/pdf/2202.05167v1

论文总结

《Class Distance Weighted Cross - Entropy Loss for Ulcerative Colitis Severity Estimation》总结 作者：Gorkem Polat等人

研究背景：

  • 内镜Mayo评分和溃疡性结肠炎内镜严重程度指数是评估溃疡性结肠炎内镜严重程度的常用评分系统，该问题可视为有序回归问题，但大多数研究使用分类交叉熵损失函数训练深度学习模型，并非最优。

主要贡献：

  • 提出了一种新的损失函数Class Distance Weighted Cross - Entropy（CDW - CE），用于训练CNN架构来估计UC的内镜严重程度。
  • 对常用的CNN架构使用交叉熵、CORN框架和CDW - CE进行训练，并通过广泛实验证明了CDW - CE的优越性。
  • 通过Class Activation Map（CAM）可视化证明CDW - CE具有更好的可解释性，这对临床可用性很重要。

相关工作：

  • 溃疡性结肠炎： 许多研究致力于从结肠镜图像中估计UC严重程度，只有少数研究利用了有序信息，如Schwab等使用了有序分类方法，但存在局限性。

  • 有序回归： 介绍了一些用于有序回归的损失函数，如Niu等将有序回归问题转化为一系列二进制分类子任务，Cao等提出了CORAL框架，Shi等提出了CORN框架，这些方法都有一定的改进和优势。

Class Distance Weighted Cross - Entropy：

  • 动机： 交叉熵损失函数未考虑预测概率在非真实类中的分布情况，对于有序类问题不是最优的，预测离正确类越远应受到更多惩罚。

  • 损失函数： CDW - CE损失函数评估非真实类的置信度，引入系数利用到真实类的距离，距离越大惩罚越强，其中power是超参数。

实验：

  • 数据集： 使用马尔马拉大学医学院胃肠病学系提供的内部数据集，共11276张图像，来自564名患者，采用10倍交叉验证，以二次加权Kappa（QWK）作为主要性能指标。

  • 训练细节： 使用ResNet18、Inception - v3和MobileNet - v3 - large三种常用CNN架构，用不同损失函数进行训练，数据增强采用随机旋转和水平翻转，使用Adam优化器和PyTorch框架。

  • 惩罚因子分析： 分析不同power因子以确定每个CNN架构的最佳值，实验结果表明不同模型有不同的最佳power因子，且相对较高的惩罚系数有利于模型训练优化，但power系数过大时会导致训练不稳定。

Class Activation Maps：

通过生成CAM可视化，发现使用CDW - CE训练的模型能突出与疾病更相关和更有区别的区域，表明CDW - CE能使模型提取与疾病更兼容的特征，从而提高性能。

结果和讨论：

交叉熵损失函数在所有模型中结果最低，CORN方法虽专为有序回归设计但被CDW - CE超越，因为CDW - CE的误差与误预测到真实类的距离直接相关。实验还表明power term受数据集、类别数量和模型架构影响，建议尝试不同参数，并使用交叉验证等方法确定合适的power term。

结论：

提出的CDW - CE损失函数能根据与真实类的距离对错误分类进行加权惩罚，对误预测的远距离类进行高惩罚很重要，训练不仅能提供更高性能，还能生成更相关的CAM，该方法可适用于任何有序类别结构的问题。