[不需要染色？]在图像生成网络中，将HE染色的图像转换为其他染色的风格。

三个要点
✔️ 通过深度学习将HE染色的图像转换为另一个染色的图像
✔️ 可转换为马松三色染色、PAS染色和琼斯镀银染色，以提高诊断的准确性
✔️ 该方法可适用于各种染色方法

Deep learning-based transformation of H&E stained tissues into special stains
written by Kevin de Haan, Yijie Zhang, Jonathan E. Zuckerman, Tairan Liu, Anthony E. Sisk, Miguel F. P. Diaz, Kuang-Yu Jen, Alexander Nobori, Sofia Liou, Sarah Zhang, Rana Riahi, Yair Rivenson, W. Dean Wallace, Aydogan Ozcan
(Submitted on 12 Aug 2021)
Comments: Nature Communications.
Subjects: Computer Vision and Pattern Recognition (cs.CV)

code：  

 

本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的 。

摘要

在病理学上，HE染色被称为最基本的染色方法。除此之外，还可以使用特殊的染色方法来获得特定组织和疾病的组织学图像。在本文中，我们提出了一个机器学习模型，利用肾针活检的组织切片将HE染色转换为特殊染色（Masson三色染色、PAS和Jones银染色）。

该模型是通过监督学习构建的，基于三位肾脏病理学家的评价和第四位病理学家的诊断。结果显示，58例的虚拟染色图像提高了一些非肿瘤性肾脏疾病的诊断准确性（P=0.0095）。此外，发现虚拟染色图像在统计学上与实际的组织化学染色图像相当。这种染色转换可以提高诊断的准确性并大大降低染色成本。

简介

组织病理学评价是通过显微镜观察组织切片或在电脑屏幕上观看整个玻片图像的扫描图像（WSI）来进行的。目视观察是组织病理学的金标准，也是病理学的一个重要工作流程，无论何种类型的疾病。

对组织切片进行染色以增加颜色对比，其中苏木精和曙红（HE）染色是最常见的方法；HE染色相对简单，几乎用于所有病例，约占所有人体组织染色的80%。

除HE染色外，还使用其他各种染色方法来突出组织学特征。例如，马松三色法（MT）用于观察结缔组织，周期性酸-希夫法（PAS）则用于检查基底膜。琼斯甲胺片（JMS）是用来更清楚地观察肾小球结构。这些染色剂使病理学家能够识别细微的基底膜异常并识别非肿瘤性肾病。

传统的组织病理学工作流程不仅需要时间和金钱，还需要实验室基础设施。此外，多种染色方法需要多块组织和不同的染色程序，这增加了成本。通常情况下，首先进行HE染色，然后由病理学家决定进行特殊染色。因此，特殊的染色是比较耗时的。

已知有其他对比机制可以解决这个问题，如非线性显微镜和紫外线组织表面激发。最近，使用深度学习的虚拟染色已经被开发出来。染色是基于各种模式，包括自发荧光、高光谱和定量相。这些技术是在无标签，即未染色的切片上进行的。

相比之下，将已经染色的材料转换为另一种染色剂（染色剂转换）被认为是一种在不改变传统病理工作流程的情况下减少染色剂数量的方法。文献中描述了各种染色剂的转换，如HE到MT，Ki67-CD8到FAP-CK（成纤维细胞活化蛋白-细胞角蛋白）的原位杂交。文献中描述了各种染色转换，包括HE到MT，Ki67-CD8到FAP-CK（成纤维细胞活化蛋白-细胞角蛋白）的原位杂交。

然而，许多这些染色转化技术都依赖于无监督的方法，即被称为CycleGANs的对抗性生成网络。这种网络只利用分布匹配损失，在应用于医学图像时容易产生幻觉。众所周知，它容易产生幻觉（注：幻觉的直译，是指产生的图像导致错误的诊断）。

在本文中，我们介绍了一个监督学习的染色转化工作框架（图1）。作者通过评估非肿瘤性肾病的组织来验证该模型。在许多临床情况下，病理学家首先用HE染色法进行初步诊断。虽然这种诊断可以用来启动治疗，但明确的诊断往往是在第二天提供的特殊染色图像上进行的。因此，该模型将减少提供特殊染色图像所需的时间，并有望使新月形肾小球肾炎和GVHD等紧急疾病的临床情况得到显著改善。

图1：深度学习被用来将HE染色的图像转化为特殊染色的图像。

结果

这种染色剂转换模式的有效性已经被三位病理学家证实。有58例，病理学家根据HE切片和染色转化的组织学进行诊断。然后，病理学家在实际特别染色的切片上做出诊断，并比较两种诊断结果。

传统上，病理学家通过观察HE中的组织学图像并在必要时进行特殊染色来进行初步诊断。在这项研究中，我们通过生成特殊染色图像，成功地跳过了特殊染色过程，从而提高了各种非肿瘤性肾脏疾病的诊断准确性。

他汀类药物转化网络的设计和培训

一个CNN被用来进行染色转换，但一个GAN被用来概括输入图像（图2b中的风格转移网络）。

图2b：这个CycleGAN将图像转化为同一个HE染色的图像的稍微不同的视图（概括）。这再现了研究人员、实验室、温度、试剂等之间的颜色差异。

图2a显示了虚拟染色网络，以DAPI和德州红染色的图像为输入，以虚拟HE染色的图像为输出。实际染色的HE图像是教师的数据。这个网络是染料转换网络的基础。

图2c：设计了一个网络，其中Style变换网络的输出图像被输入到染色变换网络，最终输出的图像是一个特殊的染色图像。

评价用于肾脏疾病诊断的染色剂转化网络

染色转化的评价是按以下方式进行的。首先，三位病理学家只对HE切片进行了首次诊断（58例）。

然后，经过至少三周的遗忘期（以忘记第一次诊断），在HE切片和染色转化的特殊染色切片上进行第二次诊断。

再过3周后，进行第三次诊断，这次是对HE切片和实际特别染色的切片进行诊断。

总之，病理学家第一次只提供HE，第二次提供HE和染色转化图像，第三次提供HE和实际特别染色的切片。

最后，一位不同于诊断该疾病的三位病理学家对总共三次诊断的结果进行汇总，并决定结果是改进、匹配还是不一致。请注意，本研究中使用的正确标签是根据从电子显微镜图像、免疫荧光染色和其他上面没有提到的观察方法获得的信息确定的。

结果显示，使用染色改造后，平均有13例（22.4%）得到改善。其余38.3例（66.1%）是一致的，6.7例（11.5%）是不一致的。

上面的图4a.是一个图表，列出了第一次（仅HE）和第二次（HE和染色转换）之间诊断的变化。正如你在中间的面板上看到的，有一个基本协议。横轴是病例编号，例如第9个病例显示所有病理学家的诊断都有提高。

图4b显示了第一种（仅HE）和第三种（HE和实际特殊染色）诊断的比较。结果与图4a基本相似，但不一致的情况较少。这里的结果是25.8%的改进，66.6%的一致和7.4%的不一致。正如预期的那样，在实际应用特殊染色时，诊断的准确性会有所提高。

图4a和4b显示，特殊染色，无论是虚拟的还是实际的，都比HE染色提高了诊断的准确性。我们现在测试了每个病理学家的染色转化和实际染色的诊断准确性是否有显著差异。卡方检验的结果显示，对于两位病理学家来说，实际的特殊染色效果明显更好（对于其余的病理学家来说，没有明显的差异）。

图5显示了一个案例，染色转换提高了诊断的准确性，因为HE染色对基底膜的染色效果并不理想，因此更容易看到小管内的炎症细胞（箭头）。

这是另一个在诊断方面有改进的案例。在图像的下部显示了实际的特殊染色（注意：对于实际的特殊染色，不可能使用用于HE的部分。(注意：在实际的特殊染色中，不能使用用于HE的切片，所以使用前后的切片进行特殊染色，因此形态上与HE图像不同。(反之，所有三个染色转化的图像都是相同的）。

以上是一个染色转换相当漏诊的病例，因为PAS染色的粉红色（纤维蛋白凝块）很难看到，导致诊断不一致。

总结

在这项研究中，我们着重研究了HE染色剂向其他特殊染色剂的转化。然而，该方法可以适用于其他转换，例如，从特殊染色剂到HE或从免疫荧光染色剂到特殊染色剂。

这种方法使病理学家能够观察到不同的组织成分，而不需要准备切片进行特殊染色。 它在进行染色转换时也很快速（在2个GPU上为1.5^mm2/s），可以节省劳动力、时间和化学品。不仅如此，它还将对医疗系统有很大的好处。

• 
• 
• 

与本文相关的类别

• 医疗
• 论文
• 生成图像
• 医疗