![医用画像では位置関係が重要だった!!医用画像セグメンテーションのためのContrastive Learning](https://aisholar.s3.ap-northeast-1.amazonaws.com/media/May2022/%E5%8C%BB%E7%99%82%E7%94%BB%E5%83%8F%E3%81%AEcontrastive_learning1-min.png)
医用画像では位置関係が重要だった!!医用画像セグメンテーションのためのContrastive Learning
3つの要点
✔️ 医用画像セグメンテーションのためのContrastive Learning
✔️ 画像同士の位置関係をもとに正例・負例ペアを決定
✔️ 半教師あり学習・転移学習タスクで既存手法を超えるセグメンテーション精度を実現
Positional Contrastive Learning for Volumetric Medical Image Segmentation
written by Dewen Zeng, Yawen Wu, Xinrong Hu, Xiaowei Xu, Haiyun Yuan, Meiping Huang, Jian Zhuang, Jingtong Hu, Yiyu Shi
(Submitted on 16 Jun 2021 (v1), last revised 28 Sep 2021 (this version, v3))
Comments: Published on arxiv.
Subjects: Computer Vision and Pattern Recognition (cs.CV)
code:![]()
![]()
本記事で使用している画像は論文中のもの、紹介スライドのもの、またはそれを参考に作成したものを使用しております。
はじめに
自己教師あり学習はラベルなしの画像データを用いた学習を行うことができるため、アノテーションがついたデータを得ることが難しい医用画像タスクにおいては非常に有効な手法とみなされています。
自己教師あり学習の中でもSimCLRやMoCoなどの手法が有名なContrastive Learningは、コンピュータビジョンの分野で特に大きな成功を収めています (詳しい内容はこちら)。
Constrastive Learningを簡単に説明すると、「正例ペアの特徴量を近づけて、負例ペアの特徴量を遠ざけること」を目的とした自己教師あり学習です。学習後に得られる特徴量は、下流タスク (画像分類、物体検出、セグメンテーションなど)で、精度を向上させるために使用されます。
Contrastive Learningでは、正例・負例ペアの決定方法が重要になっています。既存の手法では、正例ペアは通常の画像とDAが施された画像とで作られ、負例ペアは異なる画像同士で作られます。
一方で、既存の手法をそのまま医用画像タスクに対して使おうとすると、正例ペア・負例ペアに関して問題が生じます。その結果として、下流タスクでのセグメンテーション精度の低下が引き起こされてしまいます。
その問題とは具体的に、不適切な負例ペアを作ってしまうという問題です。つまり、特徴量を遠ざけるべきではない画像同士が負例ペアとなり、正しい学習を行うことができなくなるということです。
この問題は、データセット内に同じ組織や臓器が、複数の画像にまたがって存在することが原因となっています。つまり、見た目がほとんど同じ画像であるにも関わらず、負例ペアとして特徴量を遠ざけるように学習してしまうのです。
本論文では、この問題を解決するべく下図に示す医用画像セグメンテーションのための新たなConstrative Learning:Positional Contrastive Learning (PCL)を提案しています。PCLは医用画像の位置関係を効果的に利用して正例・負例ペアを決定することで上記の問題を解決しています。
医用画像のセグメンテーションにおいて、既存の手法とPCLを事前学習として用いた半教師あり学習・転移学習で比較すると、PCLは既存の手法を超えるセグメンテーション精度を達成しました。さらに、PCLはアノテーションのついた画像が少ない場合により大きな効果を発揮することがわかりました。
本記事では、PCLの解説及び、PCLの有用性を示す実験結果について紹介します。
提案手法:Positional Contrastive Learning
まずは、PCLによる自己教師あり学習について紹介します。
上の図は、PCLの概要を表しています。図に示すように入力データとしては、3D画像からz方向に沿って切り出した2D画像 (x-y平面画像)を使用します。
PCLの肝である、正例・負例ペアの決め方について紹介します。まず、2D医用画像の位置を定義するためにpositionを定義します。positionは、3D画像から切り出される2D画像の数をn、2D画像が切り出されたz方向の座標をn (0 < m < n)して、2D画像のをm/n (値は0~1の間)と定義されます。
このpositionをもとに、正例・負例ペアは以下のように決められます。
- 正例ペア:positionの差がある一定の閾値内である2D画像同士
- 負例ペア:positionの差が閾値を超える画像同士
ここで重要なことは、positionの差のみでペアが決定していることです。同じ3D画像から切り取られた2D画像はもちろん異なる3D画像から切り取られた2D画像同士でも、positionの差が閾値を超えない限り正例ペアとして扱われます。こうすることによって、同じ組織や臓器が複数の画像にまたがって存在していても、それらの画像の特徴量を近づけることを可能としています。
PCLでの損失関数は以下のようになります。
通常のContrastive Learningとほとんど同じですが、PCLでの損失関数はバッチ内の画像に対するすべての正例ペアでContrastive lossの平均をとったものになります。式 (1)は、式 (2)の損失をデータ全体に関して和を取ったものになります。また、通常のContrastive Learningと同様に各画像に対してデータ拡張を行っています。
次に、ファインチューニングの方法について紹介します。
ファインチューニング時には、セグメンテーションを行うモデルとしてUNetを使用し、UNetのエンコーダ部分の重みの初期値として、PCLを行うことで得られた重みを使用します。(比較手法の自己教師あり学習を用いた場合でのファインチューニングに関しても、PCLと同様に行います。)
実験
データセット
- CHD
- 68個の心臓部CT3D画像,7組織 (左心室,右心室,左心房,右心房,心筋,大動脈,肺動脈)のセグメンテーション
- MMWHS
- 心臓部のCT画像20個&MR画像20個.7組織のセグメンテーション
- ACDC
- 100人の患者から取得した心臓部のMR画像.3組織 (左心室,右心室,心筋)のセグメンテーション
- HVSMR
- 心臓部のMR画像10個。血溜まりと心筋のセグメンテーション
比較手法
PCLとの比較手法として、以下のような自己教師あり学習を用いています。
半教師あり学習
自己教師あり学習を行ったあと、少数のアノテーション付きデータでの教師あり学習 (半教師あり学習)を行いました。
データセットとしてはCHDとACDCを使用し、それぞれで5-fold-validationを行いました。
半教師あり学習の実験結果から以下のようなことがわかりました.
- 半教師あり学習タスクで既存の手法と比較して、PCLが最も優れたセグメンテーション精度を実現した。
- アノテーション付きデータが少ないとき (M=2, 6) に、既存の手法との精度の差が大きかった。
転移学習
転移学習とファインチューニングで使用するデータセットの組み合わせは、CHDとMMWHS、ACDCとHVSMRとしています。CHDとMMWHSのデータセットはドメインの類似性が高く、一方で、ACDCとHVSMRのデータはドメインの類似性は低くなっています。
転移学習の実験結果から以下のようなことがわかりました.
- 転移学習タスクで既存の手法と比較して、PCLが最も優れたセグメンテーション精度を実現した。
- 転移学習とファインチューニング時に使用するデータセットのドメインの類似性が低い場合 (ACDCとHVSMR)、PCLと既存の手法との精度の差も小さくなった。
まとめ
今回は、医用画像の位置関係を効果的に使用したContrastive LearningであるPositional Contradstive Learningを紹介しました。医用画像特有の位置関係を利用した非常に興味深い研究でした。
しかし、ドメインの類似性が低い場合、PCLの効果が少なくなることから、改善の余地がありそうです。
また、アノテーションがついた医用画像のデータ不足への対策としての自己教師あり学習は非常に強力です。そのため、本論文のような医用画像のための自己教師あり学習方法の研究はこれからさらに発展していくと考えられます。
この記事に関するカテゴリー