迁移学习真的有效吗？'我们已经调查了过渡学习在医学成像任务中的有效性！
三个要点
✔️ 从不同角度分析医学影像任务中的过渡学习效果
✔️ 转移学习在提高医学成像任务的分类准确性方面不是很有效
✔️ 只在最低层进行过渡学习可以显著提高收敛速度。
Transfusion: Understanding Transfer Learning for Medical Imaging
written by Maithra Raghu, Chiyuan Zhang, Jon Kleinberg, Samy Bengio
(Submitted on 14 Feb 2019 (v1), last revised 29 Oct 2019 (this version, v3))
Comments: NeurIPS 2019
Subjects: Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG); Machine Learning (stat.ML)
code：
本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。
背景
随着深度学习的发展，它也被用于医学成像任务（如医学图像分割、病变检测等），其性能优于传统方法。
在医学成像任务中，经常使用在ImageNet上预训练的模型进行过渡学习来提高性能。
然而，如下图所示，普通图像（ImageNet图像）和医学图像，如ImageNet中包含的图像，其特征是非常不同的。例如，与普通图像相比，医学图像具有更高的分辨率，只能根据局部特征进行分类。
由于ImageNet图像和医学图像之间的这种特性差异，因此使用在ImageNet图像上预训练的模型进行过渡学习在医学成像任务中真的有效吗？人们提出了 "如果 "的问题，但对过渡期学习的影响仍然缺乏了解。
因此，本文从不同角度分析了医学影像任务中过渡学习的效果。
结果显示，转移学习对提高分类精度的效果是过渡学习在提高医学成像任务的分类准确性方面不是很有效研究发现，。它还认为，"用一个简单的、小规模的模型就可以达到相当于有过渡学习的大型模型的精确度"。
我们进一步研究了过渡学习对收敛速度的影响，发现"只在最低层进行过渡学习可以显著提高收敛速度。研究发现，。
本文介绍了对医学成像任务中过渡学习效果的分析结果。
实验
使用的模型
使用了以下两个大规模的模型
- ResNet-50。
- Inception-v3。
使用了以下四个小规模的模型
- CBR-LargeT
- CBR-LargeW
- CBR-小号
- CBR-Tiny
小规模模型的架构是一个分层的Conv、Batch Normalisation和Relu模型，如下所示。
数据集
使用了以下两个医学图像数据集
- 视网膜眼底照片（RETINA数据）。
- 眼底图像的数据集。
- 根据症状的发展，糖尿病视网膜病变的两个阶段。
- 棋牌室
- 胸部X光图像的数据集。
- 分为五种胸部疾病。
转移学习的效果分析。
从四个方面分析了过渡学习在医学成像任务中的有效性：分类准确性、特征相似度、特征可视化和收敛速度。
分类精度
过渡学习的有效性是根据分类准确率来测试的。AUC也被用来评估模型的分类准确性。
RETINA数据的分类精度如下。
首先，比较随机初始化（Random Init）和转移学习（Transfer）情况，我们发现转移学习在分类准确性方面几乎没有改进。可以看出，。
对大型模型（ResNet50，Inception-v3）和小型模型（CBR-xxx）的比较也表明，它们的分类精度几乎相同。
此外，即使ImageNet（IMAGENET Top5）的分类准确率不高，小规模模型对Retina数据显示出良好的分类准确率。
CheXpert的分类精度如下。
在CheXpert中，与RETINA数据一样，可以看到分类精度几乎没有通过过渡学习得到改善。
特征的相似性
量化特征值的变化，并根据这些变化验证过渡学习的有效性。
为了量化特征的变化，使用了不同模型之间的特征相似度，称为CCA相似度。
本节研究了训练前后的特征变化。在学习前后特征的CCA相似性中，随机初始化的情况（蓝色，RandInit）和过渡学习的情况（黄色，Pretrained）进行了如下比较。
RandInit和Pretrained在靠近输入层的层有较高的CCA相似度，而在靠近输出层的层有较低的CCA相似度。RandInit和Pretrained之间的CCA相似度的差异（灰色）在靠近输入层的两层中更高。
从这个结果来看，可以说预训练的权重在靠近输入层的层中得到了有效的重复利用。因此，可以说，即使只使用靠近输入层的层，过渡学习也足够有效。
特征可视化。
将学习前后的特征可视化，并根据特征的变化来验证过渡学习的有效性。
训练前后的CNN过滤器的可视化显示如下。
首先，可以看出，在大规模模型中，随机初始化（a到b）和过渡学习（c到d）的过滤器变化都不大。
其次，对于小规模模型，我们看到过滤器的外观在随机初始化（e到f）和过渡学习（g到h）时都会发生变化。然而，我们也看到，在过渡学习的情况下（g到h），一些在预训练中学习到的检测线条、边缘等的过滤器在训练后会丢失。
收敛速度
测试转移学习对收敛速度的影响。
训练周期数（收敛率）与进行过渡学习的层之间的关系，导致AUC>0.91，如下所示。 (例如，第1块是指从ReNet50的输入层到第一块的过渡学习的模型）。
可以看出，增加转移学习的层数可以提高收敛的速度。
此外。即使在最低层只有Conv1的过渡学习中，收敛速度也有明显的改善。可以看出，。
摘要
本文介绍了关于医学成像任务中过渡学习的论文。据观察，转移学习在提高医学成像任务的分类精度方面不是很有效，而收敛速度可以得到显著提高。
在未来，我们期待着开发与一般图像数据集数量相当的医学图像数据集，以及进一步研究医学图像任务的独特架构。
与本文相关的类别
