医学图像中的位置关系很重要!医学图像分割的对比性学习。

三个要点
✔️ 对比学习用于医学图像分割
✔️ 根据图像之间的位置关系确定正面和负面的例子对
✔️ 半监督学习和过渡学习任务实现了超过现有方法的分割精度。

Positional Contrastive Learning for Volumetric Medical Image Segmentation
written by Dewen Zeng, Yawen Wu, Xinrong Hu, Xiaowei Xu, Haiyun Yuan, Meiping Huang, Jian Zhuang, Jingtong Hu, Yiyu Shi
(Submitted on 16 Jun 2021 (v1), last revised 28 Sep 2021 (this version, v3))
Comments: Published on arxiv.
Subjects: Computer Vision and Pattern Recognition (cs.CV)

code：  

本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。

介绍

自我监督学习可以在没有标记的图像数据上进行训练，因此在难以获得注释数据的医学成像任务中被认为是一种非常有效的方法。

对比学习（Contrastive Learning）在SimCLR和MoCo等自监督学习方法中是众所周知的，它在计算机视觉领域特别成功（更多信息在这里）。

简要解释一下，构架性学习是自我监督的学习，目的是 "将正面例子对的特征移近，将负面例子对的特征移开"。学习后得到的特征被用于下游任务（如图像分类、物体检测、分割）以提高准确性。

在对比学习中，确定正反两方面例子对的方法很重要。在现有的方法中，积极的例子对是在正常图像和有DA的图像之间进行的，而消极的例子对是在不同图像之间进行的。

另一方面，如果像医学成像任务那样使用现有的方法，就会出现正反两方面的例子对的问题。这导致了下游任务中分割精度的损失。

这个问题具体来说就是创造不适当的负面例子对的问题。换句话说，消极的例子对是在不应该远离特征的图像之间进行的，使其无法进行正确的学习。

这个问题是由于在多个图像的数据集中存在相同的组织或器官而引起的。这意味着，即使图像在外观上几乎相同，但作为负面的例子对，它们学会了将特征从对方身上移开。

本文提出了一种新的医学图像分割学习方法：位置对比学习（PCL）来解决这个问题，如下图所示。PCL通过有效利用医学图像的位置关系来确定正向和反向的位置关系，从而解决了上述问题。通过有效地利用医学图像中的位置关系来解决上述问题，负面的例子对。

使用PCL作为医学图像分割的预训练，比较现有方法与半监督学习和转移学习，PCL取得的分割精度超过了现有方法。此外，当注释的图像较少时，PCL被发现更有效。

这篇文章描述了PCL，并介绍了显示PCL有用性的实验结果。

建议的方法：位置对比学习。

首先，介绍了带有PCL的自我监督学习。

上图显示了PCL的概况。如图所示，从三维图像中沿z方向剪切的二维图像（x-y平面图像）被用作输入数据。

本节介绍了PCL的关键以及如何确定正反面的例子对。首先，定义位置，定义二维医学图像的位置。位置定义为m/n（数值在0~1之间），其中n是要从三维图像中裁剪出来的二维图像的数量，n是二维图像被裁剪出来的z方向上的坐标（0<m<n）。

基于这个POSITION，正反两方面的例子对被确定如下。

• 正面的例子对：二维图像，其中位置的差异在一定的阈值内。
• 负面的例子对：POSITION的差异超过一个阈值的图像。

重要的是要注意，配对只由位置的差异决定。从同一三维图像剪下的二维图像和从不同三维图像剪下的二维图像，只要位置上的差异不超过一个阈值，就被视为一个正例对。这样一来，即使同一组织或器官出现在多张图像上，也有可能使这些图像的特征值更加接近。

PCL中的损失函数如下。

几乎与正常的对比学习相同，PCL中的损失函数是批次中图像的所有正面例子对的对比损失的平均值。方程式（1）是方程式（2）中关于整个数据的损失之和。此外，在正常的对比学习中，对每张图像进行数据扩展。

下一节介绍了微调的方法。

在微调过程中，UNet被用作分割的模型，通过执行PCL获得的权重被用作UNet编码器部分的权重的初始值。(在比较法中使用自我监督学习时的微调与PCL的微调同样适用）。

实验

数据集

• CHD
  • 68张心脏CT三维图像，7个组织的分割（左心室、右心室、左心房、右心房、心肌、主动脉、肺动脉）。
• MMWHS
  • 20张CT图像和20张MR图像的心脏.7组织分割。
• ACDC
  • 从100名病人身上获得的心脏MR图像；三个组织（左心室、右心室和心肌）的分割。
• ǞǞǞ
  • 10张心脏的MR图像。血液汇集和心肌分割。

比较法

下面的自监督学习被用作与PCL的比较方法。

• 随机（随机初始化，没有自我监督学习）。
• 旋转
• 裴氏
• 模拟CLR
• GCL

半监督学习

在进行自我监督学习后，对少量的注释数据进行监督学习（半监督学习）。

使用CHD和ACDC作为数据集，并对每个数据集进行了5倍的验证。

半监督学习的实验结果表明

• 在半监督学习任务中，与现有方法相比，PCL取得了最佳的分割精度。
• 当注释的数据较少时，与现有方法的准确性差异较大（M=2，6）。

转移学习

用于迁移学习和微调的数据集组合是CHD和MMWHS以及ACDC和HVSMR：CHD和MMWHS数据集的领域相似度高，而ACDC和HVSMR数据的领域相似度低。

转移学习实验的结果显示如下

• 与现有方法相比，PCL在转移学习任务中取得了最佳的分割精度。
• 当转移学习和微调过程中使用的数据集的领域不太相似时（ACDC和HVSMR），PCL和现有方法之间的准确性差异也比较小。

摘要

本文介绍了位置对比学习（Positional Contrastive Learning），即有效利用医学图像的位置关系的对比学习。这是一项非常有趣的研究，利用医学图像的独特位置关系。

然而，可能还有改进的余地，因为当领域不太相似时，PCL的效果较差。

此外，自我监督学习作为解决注释医学图像数据不足的对策是非常强大的。因此，关于医学图像的自我监督学习方法的研究，如本文所述，将在未来进一步发展。

• 
• 
• 

与本文相关的类别

• 医疗
• 自监督学习
• 对比学习
• 半监督