【染色しなくてOK？】画像生成ネットワークでHE染色像をその他の染色へスタイル変換

medical 2022年01月18日

3つの要点
✔️ 深層学習によりHE染色画像を別の染色画像に変換
✔️ マッソントリクローム染色、PAS染色、ジョーンズ鍍銀染色の3種類に変換し、診断精度が向上
✔️ 本手法は様々な染色方法に適応可能

Deep learning-based transformation of H&E stained tissues into special stains
written by Kevin de Haan, Yijie Zhang, Jonathan E. Zuckerman, Tairan Liu, Anthony E. Sisk, Miguel F. P. Diaz, Kuang-Yu Jen, Alexander Nobori, Sofia Liou, Sarah Zhang, Rana Riahi, Yair Rivenson, W. Dean Wallace, Aydogan Ozcan
(Submitted on 12 Aug 2021)
Comments: Nature Communications.
Subjects: Computer Vision and Pattern Recognition (cs.CV)

code：

本記事で使用している画像は論文中のもの、紹介スライドのもの、またはそれを参考に作成したものを使用しております。

Abstract

病理学検査では、HE染色が最も基本の染色方法として知られています。これに加え、特殊な染色方法を行うことにより組織・疾患特異的な組織像を得ることができます。本論文では腎臓の針生検による組織切片を用いて、HE染色から特殊染色（マッソントリクローム染色、PAS染色、ジョーンズ鍍銀染色）へ変換させる機械学習モデルを紹介します。

本モデルは、3人の腎臓病理医の評価と4人目の病理医の診断により教師あり学習で構築されました。その結果、仮想的に染色された58症例分の画像により、いくつかの非腫瘍性腎疾患の診断精度が向上することが示されました（p=0.0095）。加えて、仮想染色画像は実際の組織化学染色画像と統計学的に同等であることもわかりました。この染色の変換によって、診断精度の向上と大幅な染色コストの削減を実現することができます。

はじめに

病理組織学的な評価は、顕微鏡を覗いて組織切片を観察したり、スライドの全体像（whole slide image, WSI）のスキャン画像をパソコンの画面で見ることで行います。目視での観察は、疾患の種類に関わらず、病理組織学のゴールドスタンダードであり、病理学の重要なワークフローです。

色彩的なコントラストを加えるため、組織に切片には染色が施されますが、HE（hematoxlylin and eosin）染色が最も一般的な染色方法です。HE染色は比較的簡単で、ほとんどすべての症例で行われ、ヒト組織染色の約80%を占めています。

HE染色以外にも、組織学的な特性を強調するために様々な染色方法が行われます。例えば、マッソントリクローム染色（Masson's trichrome, MT）は結合組織の観察に、過ヨウ素酸シッフ染色（periodic acid-Schiff, PAS）は基底膜の精査に用いられます。ジョーンズの鍍銀染色（Jones methenamine sliver, JMS）は糸球体構造をより鮮明に可視化することができます。これらの染色により病理医は微妙な基底膜の異常を認識することで、非腫瘍性腎疾患を認識することができます。

従来の病理組織学的ワークフローは、時間と費用だけでなく、実験施設インフラが必要です。さらに複数種類の染色法を行う場合、組織片自体も複数必要であり、染色手順も異なるためコストが高くなります。一般的にはまずHE染色を施し、病理医の判断で特殊染色を行います。そのため特殊染色を施す場合には時間がかかります。

この問題に対し、非線形顕微鏡、紫外線組織表面励起法等の代替コントラスト機構が知られています。より最近では深層学習による仮想染色が開発されています。その染色は、自家蛍光、ハイパースペクトル、定量位相など様々なモダリティが用いられています。これらの技術は、ラベルフリーつまり未染色切片に対して行われます。

これに対してすでに染色されたものを別の染色に変換する（染色変換）方法も考えられています。この方法は、従来の病理診断のワークフローを変化させることなく、染色回数を減らすことができます。HEからMT、Ki67-CD8からin situ hybridizationのFAP-CK（fibroblast activation protein-cytokeratin）への変換など、様々な染色変換が文献上で紹介されています。

ところがこれらの染色変換技術の多くは、CycleGANとして知られている敵対的生成ネットワークである教師なしアプローチに依存しています。このような分布マッチング損失のみを利用したネットワークを医用画像に適用した場合、幻覚（註：hallucinationの直訳。誤診につながる生成画像）を発生させやすいことが知られています。

そこで本論文では、教師あり学習の染色変換ワークフレームを紹介します（図1）。著者らは非腫瘍性腎疾患の組織を評価することで本モデルの有効性を検証します。多くの臨床現場では、まずHE染色で病理医が予備診断を行います。この診断で治療を開始することもできますが、翌日に提供される特殊染色画像で確定診断を行うことが多いです。そのため特殊染色画像の提供までの時間を本モデルで短縮することができ、半月体形成性糸球体腎炎やGVHDなどの緊急性の高い疾患において、臨床的の大幅な改善につながることが期待されます。

図1。ディープラーニングによりHE染色像を特殊染色像へと変換しています。

結果

本モデルの染色変換の有効性は、3人の病理医によって確認されました。症例は58例あり、病理医はHE切片と染色変換された組織像から診断します。その後、実際に特殊染色された切片で診断を行い、2つの診断結果を比較します。

従来、病理医はHEでの組織像を見て予備診断を行い、必要に応じて特殊染色を施していました。本研究では、特殊染色像を生成することで特殊染色過程を飛ばすことに成功し、様々な非腫瘍性の腎疾患の診断精度を向上させることができました。

Design and training of statin transformation networks

染色変換を行うのは1つのCNNですが、入力画像の一般化を行うためにGANが用いられています（図2bのStyle transfer network）。

図2b。このCycleGANにより、画像は同じHE染色像でも微妙に異なる見え方に変換されます（一般化）。これは研究者、ラボ、気温、試薬等で変化する色合いを再現しています。

図2a。上記はバーチャル染色を行うネットワークです。DAPI染色、Texas Red染色像を入力として、バーチャルHE染色が出力されます。なお実際に染めたHE像が教師データです。このネットワークが染色変換ネットワークの基礎になっています。

図2c。そしてStyle変換ネットワークの出力画像を染色変換ネットワークに入力し、最終的に特殊染色像が出力されるネットワークが設計されています。

Evaluation of stain transformation networks for kidney disease diagnoses

染色変換の評価は以下のように行われました。まずは3名の病理医がHE切片のみで1回目の診断を行います（58症例）。

その後、3週間以上の忘却期間（1回目の診断を忘れるための期間）をあけて、HE切片と染色変換された特殊染色切片で2回目の診断を行います。

また、さらに3週間以上あけて、今度はHE切片と実際に特殊染色を施した切片で3回目の診断を行います。

まとめると、1回目はHEのみ、2回目はHEと染色変換像、3回目はHEと実際の特殊染色切片を病理医に提供します。

最後に、診断した3名とは別の病理医1名が合計3回の診断結果を取りまとめ、改善、一致、不一致のいずれかの判定を行います。なお本研究で使用した正解ラベルは、電子顕微鏡画像、免疫蛍光染色など、上記以外の観察方法から得た情報をもとに決定されています。

その結果、染色変換を用いることで平均13症例（22.4%）の改善が見られました。残りは、38.3症例（66.1%）の一致、6.7症例（11.5%）の不一致という結果でした。

図4a。上記は、1回目（HEのみ）と2回目（HEと染色変換）の診断がどう変化したかを集計したグラフです。中段のとおり、基本的には一致しています。横軸は症例番号であり、例えば9番目の症例はすべての病理医で診断が改善しています。

図4b。上記は1回目（HEのみ）と3回目（HEと実際の特殊染色）の診断の比較です。概ね図4aと似ていますが、不一致（Discordance）が減っています。こちらの結果は、25.8%の改善、66.6%の一致、7.4%の不一致です。やはり実際に特殊染色を施した場合には診断精度が向上しています。

図4aと4bから、仮想か実際かに関わらず特殊染色を施した場合には、HE染色よりも診断精度が向上することがわかりました。ここでそれぞれの病理医ごとに染色変換での診断精度と実際の染色での診断精度に有意差があるかを検定しました。カイ二乗検定の結果、2名の病理医では実際の特殊染色の方が有意に診断結果が良いことがわかりました（残り1名は有意差なし）。

図5は、染色変換によって診断精度が向上した症例です。HE染色では基底膜を顕著に染色することはできないため、染色変換によって尿細管部にある炎症性細胞が見やすくなったと考えられます（矢印）。

こちらも診断に改善が見られた症例です。下段には実際の特殊染色像が示されています（註：実際の特殊染色をするためには、HEに使った切片を使うことができません。したがってその断面の前後が特殊染色用に使われるため、HE像とは形態が変わっています。逆に染色変換像の3枚はすべて同一の像です）。

上記は、染色変換することでむしろ診断が外れた症例です。PAS染色のピンク色（フィブリン血栓）が見えにくいため、診断が不一致となったと考えられます。