NVIDIA!癌とGANを制御する方法を提案!?

NVIDIA!癌とGANを制御する方法を提案!?

3つの要点

✔️癌の特徴を制御するモデルの提案
✔️GANに特徴を覚え込ませることで実現
✔️今後の病気の診断に有用な特徴をわかるようになるかも

AIの性能を上げるにはデータの量&質・モデルの設計・コンピュータの性能という3つの重要な要因があります。その中でも、正しく学習するにはデータの量と質がものすごく重要です。
しかし、医療においては十分な量のデータを確保することは難しいです。

1) 生成コストが高い。(患者がいなければデータは取れない)
2) 同じ病気でも画像上の形が違うなどのパターンが多い。
3) Aという病気のデータは多いが、Bという珍しい病気のデータは少ないといったデータのアンバランスさ。
4) データの答えをつける医師の間でも判断がばらつく。

これらの課題から、医療ではデータの作成に関する研究が多くなされています。その中でもGANによってデータを生成することで性能を上げる研究が多くなされており、その可能性を示した報告もされています。しかし、実際に性能が上がったとしても、本当に重要な特徴をAIが覚えたため性能が上がったのかは不明です。

性能が上がったからいいじゃないのか?
単純にそうとは言えません。
データが少ないからGANによって生成しようとしても、GANの学習データも少ないため、学習データに依存してしまいます。そのため、間違った特徴を含む画像の生成や偏りの増加などの影響が懸念されます。実際にそれらの影響によって性能が向上していたり、差別を冗長するモデルが生成されてしまう問題も報告されています。

しかも、テストデータがGANの学習データと同じデータセットから取り出された研究が多く、それでは、偏りがあっても、データセットが同じであるため性能が上がる可能性があるわけです。(データセットが同じであるため、偏っていてもそれらが適用できてしまう。) この辺りについても、GANによるdata augmentation(DA)の有無をデータセットを入れ替えた交差検証で確認した検討において、DAしたモデルで性能低下が起こったという報告もあります。

では、間違った特徴とは?
例えば、肺結節の画像を生成する際に、癌ではない背景の部分が偶然、結果と相関があればそれを学習してしまう可能性がありますよね?癌は見なくても良い結果が出てしまうならその特徴を見れば良い可能性があります。人間には到底特徴とは呼べないものでもデータが少ないと答えと偶然にも相関するものも出てきます。偶然をなくすためにもデータの量と”質”が重要とも言えます。

そこで、著者らは肺結節に重要な特徴外観の様子を学習させ、よりリアルな肺結節画像を生成する3D multi-conditional GAN (3D多条件付きGAN)を提案しました。

つまり?
重要な特徴(大きさやテクスチャなど)を制御できるようにGANの生成にルールを設けたってことです。
そうすることで、量を増やしつつ、質(≒特徴)もあげちゃおうとしたのですね。
確かに!!この方法なら量も増えて、特徴も制御することで効果的に画像の質もあげられるかもしれませんね。従来手法でも、特徴を捉えるGANはありましたが、本当に特徴を捉えているかの保証はなかったですからね。

この研究の発展形ですね。
こちらから先に読まれると理解しやすいです。
https://ai-scholar.tech/treatise/mcgan-ai-200/

モデル


提案された3D multi-conditional GANは以下の4点で構成されています。
① 背景画像(Background)のエンコーダー部
② 重要な特徴(Semantic Features)との融合部(Fusion Block)
③ それぞれの情報を統合しながら、生成画像(Image)とそのマスク(Segmentation)のデコーダー部
④ 予測される画像特徴のエンコーダー部

NVIDIAが以前に発表したモデルとの大きな違いは④にあります。

Semantic Featuresをスタイルとして暗黙的にモデルに教えています。そして、最終的に画像からもSemantic Featuresを出力させることで特徴による制御を可能にしています。

そんなことができるの?

実際に画像からスタイルを潜在変数として取り出す研究も行われています。Semantic Features人間が画像を見た時に認識しやすい特徴だったため、今回はうまくいったのではないでしょうか。

損失と戦略


識別器は以下の3つの損失を定義し、識別器はこれらのReal or Fakeで学習をしていきます。
Imageのエンコードに対する損失DI
ImageとSegmentationマスクとのペアのエンコードに対する損失DIS
DISにSemantic codeを組み合わせた損失DISG

全てがシンプルに最小二乗誤差で損失が定義されています。

生成器には識別器の3つの損失に加えて以下の3つの損失も組み合わされています。

LGBGは合成画像Gxと背景領域画像(合成マスクの逆数)GM‾要素積から学習画像xと合成マスクGM‾要素積を引く式になっており、合成画像Gxと学習画像xの間の背景上のL1損失を定義することで背景領域の再構築の精度向上をしています。

LGFはそれぞれ予測した特徴量GfとSemantic Featuresであるf間のL2損失としてを定義することでSemantic Featuresの予測精度を向上させています。

LGsは合成されたサイズに関する特徴GsとSemantic Featuresのサイズs間のLs損失として定義しています。ここからわかるように今回はサイズに関して強く制御するモデル構築を行っています。

著者達が用いたデータには9個のFeaturesが画像に付与されています。→きめ、内部構造、石灰化、球形、マージン、小葉形成、棘形成、テクスチャ、および悪性度。

生成結果


既存手法との比較

A:4つの異なる特徴を持った学習画像、B:結節のないランダムな背景画像、C:ベースとなる3DGANによる結節画像、D:提案手法による結節画像。(※DはAとCと特徴を共有しています。)

Aの結節画像は結節が左から境界明瞭・境界不明瞭・充実性が高い(濃い)・すりガラスの特徴を持ちます。

CとDを比較すると、Cの生成された結節画像は学習データとは違う特徴を持っています。Cの一番左は本来は境界明瞭な結節を出力するはずが、明らかに境界明瞭な特徴ではありません。そして、Dは学習データと同じ特徴を持っていることが画像からわかります。

次にBとC・BとDで見比べていきましょう。
BとCを見比べた時に、明らかに背景に違和感を感じる変化が見受けられます。また、この違和感はAIにとっては答えを導くヒントになってしまう可能性があります。そのため、背景領域は変化が少なく、または、最もらしい背景の生成が望まれます。
BとDを見比べた時に、背景の変化は少なく、特に肺血管に大きな変化がないことが既存の手法と比べても大きな可能性があります。特にBの一番左側には肋骨が写っていますが、肋骨への変化が少ないです。Cでは、なぜか骨の中が白く潰されています。

背景の変化や違和感はそんなに気にすること?
気にしなければなりません。ある研究では飛行機を認識するのにAIが雲の形で飛行機を認識していたということを発見したりと、AIが本当に見て欲しいものを見ているかは重要ですよね。そのためにも、背景の変化や違和感がAIにとって何かを判断する根拠にならないためにも重要です。でも、Cの画像は人間では”偽物”と判断できないほどきれいに生成できているのでいい気もしますよ?→ハッキリ言って、人間は画像を見分ける練習もしていませんし、そっくりな双子すら見分けるのに時間かかりますよね。もともとこう言った見分けると言ったタスクは人間は不得意なのかもしれません。

しかし、まだ課題も存在します。Semantic Featuresのパラメータと実際に画像に出てくる画像のFeaturesに差が存在する点です。

どういうこと?
簡単にいうと3mmの肺結節を出力するパラメータで出力しても実際に出力された肺結節が3mmではなく、差があるということです。ここが著者達の今後の課題となるでしょう。

感想


今回紹介した手法を用いれば、画像の生成をコントロールすることができるようになると思います。今現在の生成はほとんどがこういった画像を「生成している~だろう」という状態で人間が正しく制御しているものではありません。また、このような手法での生成から結果までを解析すれば、どういった特徴が診断するのに有用なのか理解することができます。これは診断をしている医師にとってもありがたい知見を生み出す可能性を秘めています。そのためにも、制御していない領域には変化が少ない、または背景領域も正しく生成する方が良いため、さらなる手法の改良が求められます。ラベルが間違っていてもAIは学習ができます。すなわち、生成の制御ができなければGANが生成した画像のデタラメな特徴に結果を紐づけて覚えてしまう可能性があります。

各個人で好きな画像を生成できる時代がくるかもしれませんね。

Tunable CT Lung Nodule Synthesis Conditioned on Background Image and Semantic Features

(Submitted on 08 October 2019 of MICCAI)

written by Ziyue Xu Xiaosong WangHoo-Chang ShinHolger RothDong YangFausto MilletariLing ZhangDaguang Xu.


この記事をシェアする