胸部X線から肺の3Dモデリング!さらに注目すべきは、4次元への挑戦!?

論文 DeepOrganNet: On-the-Fly Reconstruction and Visualization of 3D / 4D Lung Models from Single-View Projections by Deep Deformation Network

Status : proceeding to IEEE Transactions on Visualization and Computer Graphics (TVCG) (IEEE SciVis 2019), October, 2019

Subjects: Graphics (cs.GR)

Submitted on Mon, 22 Jul 2019

written by Yifan Wang, Zichun Zhong, and Jing Hua

今回ご紹介するのは単一視点の2次元医用画像から3次元形状を生成するAIに関する論文です。今までほとんど行われていない研究です。

なぜ? 一言で言うと…困難な問題だから

3次元の物体を2次元の画像から推測するには、推測したい物体を様々な角度から撮影した画像があれば推測することは可能です。しかし、今回は単一視点のみから3次元を推測しようとするのでかなり難しいです。

今までも自然画像(写真)からその物体の3次元形状を推測するようなAI技術は研究されています。3次元の点群を推測する手法・3次元のサーフェイス(表面)を推測する手法・楕円物体を変形させることで推測する手法・立方体を組み上げることで3次元の推測など様々なものが提案されてきました。

今回は3次元物体を直接推測するのではなく、2次元医用画像から段階的に3次元画像を生成するDeepOrganNetを提案しています。

データ生成

論文では胸部X線正面の画像から3次元肺を生成することを題材としました。しかし、胸部X線正面画像から3次元肺を作成しても答え(本当の3次元肺画像)がわからないという問題があります。

そこで、以下の手順を踏むことで、胸部X線正面画像とペアになる多数の3次元形状のテンプレートを取得しています。

1: 3次元形状の情報を保有するCTのVolumeデータを使用する。
2:Volumeデータから3次元形状を生成する(既存の再構成法より作成)。
3:生成された3次元肺の形状を変形させて様々な形状の3次元形状を作成する。
4:様々な形状の3次元肺をVolumeデータに戻す。
5:Volumeデータを基に胸部X線正面画像を再構成する。

すなわち、今回は擬似的にCTから作成した胸部X線正面画像の検討になります。

※CT (Computed Tomography) : コンピュータ断層診断装置。X線により体内部の断層像を撮影する。CTスキャンとよく言われる。