グラフ学習（Graph Transfer）で医療画像からレポートを生成する

論文：Knowledge-driven Encode, Retrieve, Paraphrase for Medical Image Report Generation

医療用画像レポートの自動生成

医療報告書の作成のための機械学習は、ポテンシャルの高い分野として、学界と産業界の両方で広く認識されています。その中でも、医療用画像レポートの自動生成は、この分野における重要な用途の1つとして研究の関心が高まっています。また、医用領域を組み込んだ視覚的および言語的モダリティの橋渡しに向けても重要な役割を持つと考えられています。

医療用画像レポートを生成するにあたって難しいのは、概要がはっきりしたテンプレート、または内部の知識構造がなく多様な要約をする他の仕事とは異なり、現実的で正確な記述を生成しなければならないことです。例えば、一般的に、医療用画像レポートを書くためには、医師が最初に異常所見のために患者をチェックして、そして特定のパターンとテンプレートに従って、必要に応じて個々のケースのテンプレートで声明を調節します。

論文では、この手順を模倣して、知識主導のエンコード、検索、パラグラフとして医療報告書作成を定式化する新しいアプローチ”KERP”を提案しています。

 

視覚的な特徴→異常グラフ→テンプレートシーケンス（単語）→レポートの順に変換していきます。ここではGraph Transfer（GTR）により画像を含めた各マルチドメインデータをグラフとして表現し、異なるドメインのグラフ間でデータを変換します。これにより、各タスクを行う事が可能になります。（図１）

 Graph Transfer

上記で述べた通り、大部分の現実のデータ（例えば、イメージ、テキスト券のシーケンス、知識グラフ、回旋状の特徴マップ）がグラフとして表現されるように、マルチ領域の間でデータをダイナミックに変換する事ができるGraph Transformer（GTR）が使われています。

GTRは、知識グラフ、画像などの複数ドメインのデータをグラフ構造間で別のグラフに変換して、同じグラフタイプ内でより高いレベルのセマンティクスに特徴を符号化したり、またはあるグラフ（たとえば知識グラフ）の特徴を別のグラフ（たとえば一連の単語）に変換することが可能です。

さらに、GTRは、事前知識が望まれるシナリオに対して有用であり、事前の学習エッジの重み付け平均化により任意の事前グラフ構造の効果的な組込みを可能にします。ここでは、医療の事前知識を組み込むと共に、ロバストなグラフ構造を学習するために、AttentonをGTRに備えました。

このGTRを呼び出すことによって、KERPは視覚的な特徴から異常グラフ（Encodeモジュールを使用）、そしてテンプレートシーケンス（Retrieveモジュールを使用）、そして最後にレポート（Paraphraseモジュールを使用）の順に変換できます。

結果

実験では、KERPが2つの医用画像レポートデータセットで最先端の性能を達成し、正確な属性予測、動的な医療知識グラフ、説明可能な位置参照を生成することを示しています。さらに、異常予測だけでなく、解釈診断に不可欠な説明可能な注意深い領域も生成しており、堅牢なレポートを生成するだけではないことを示しています。

現在、世界では医師不足、あるいは将来的な医師不足が懸念される国や地域が多く、特に日本では、画像診断の専門家である放射線科の医師不足は深刻な問題であり、医師の負担増加や画像診断の質の低下、地域間格差などが社会課題となっています。
一方、医療の現場では、カルテのデジタル化により、医療データがどんどん増えています。AIなどのテクノロジーと大量の医療データを利用することで、自動診断や医療支援などのシステムを作り出すことができるのではないでしょうか

• 
• 
• 

この記事に関するカテゴリー

• 論文
• 機械学習
• 深層学習