来自移动设备的皮肤癌!基于大数据集和CNN的皮肤癌自动分类模型的建议!

医疗 24/03/2022

三个要点
✔️ 与早期相比，皮肤癌晚期的生存率明显较低，这就需要早期发现，尤其是当病人自己可以做到这一点时。
✔️ 在这项研究中，提出了一个用于皮肤癌自动分类的深度学习模型，利用了大型数据集和CNN。
✔️ 结果报告说，所提出的模型实现了与皮肤科医生相同或更好的分类性能。

Dermatologist-level classification of skin cancer with deep neural networks
written by Andre Esteva, Brett Kuprel, Roberto A. Novoa, Justin Ko, Susan M. Swetter, Helen M. Blau, Sebastian Thrun
(Submitted on 25 Jan 2017)
Comments: nature

本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。

背景

是否有可能开发一个模型来自动识别具有不同症状的皮肤癌？

本研究旨在利用大量的图像数据和深度卷积神经网络（CNN）构建一个图像分类模型，对皮肤癌进行自动分类。

皮肤癌是最常见的恶性肿瘤之一。从临床检查到皮肤镜分析、活检和组织病理学检查，该疾病的诊断是直观的；然而，皮肤病变的外观差异很大，使得基于图像的自动分类直到现在还很困难。在这种情况下，在本研究中，基于转移学习训练了一个CNN，使用由2032种不同疾病组成的129450张临床图像的数据集来验证分类的准确性：具体来说，活检证明的使用案例--角质细胞癌和良性脂溢性角化病，以及二十一位被认可的皮肤科医生和分类性能在恶性黑色素瘤和良性痣上进行了测试：第一种情况是识别常见癌症，第二种情况是识别更严重的皮肤癌。该模型在分类准确性方面取得了与人类相当的性能，考虑到其在移动设备上的实施，预计将来会对改善皮肤癌的预后做出重大贡献。

什么是皮肤癌？

首先，介绍了皮肤癌的概况。

皮肤癌指的是所有的皮肤癌，其特点是最初缓慢而逐渐加速的病理发展。在发病机制方面，有人指出，紫外线辐射是该病的主要原因，也有人认为有可能是遗传因素。据估计，在美国，每五个人中就有一个会被诊断为皮肤恶性肿瘤，而黑色素瘤是皮肤癌的一种，据报道，在与皮肤癌有关的死亡中，黑色素瘤占75%。黑色素瘤的估计五年生存率--衡量患病后的生存概率--在晚期发现时低至14%，因此早期发现--在早期阶段--非常重要。

研究目标

这项研究旨在建立一个基于皮肤癌数据集建立的学习模型的自动图像分类模型。

早期检测对皮肤癌很重要，因为与早期相比，在癌症晚期发现时，生存率明显较低--因此，需要有工具让患者在咨询之外自己诊断皮肤癌。另一方面，以前关于这种图像分类的研究受到了类似图像元素的变化的挑战--变焦、角度、光照等--使得分类任务很难有较高的准确性。本研究旨在通过利用大型数据集和简单的图像分类模型，建立一个从皮肤图像中早期检测癌症的模型：具体而言，基于CNN的黑色素瘤分类，皮肤镜--观察皮肤状况的检查设备-基于黑色素瘤分类和癌症分类，以建立一个图像分类模型。该模型利用了141万张预训练的图像，考虑到了图像特定变化的影响，并通过转移学习进行学习。从这个模型中，创建了一个将个别疾病映射到学习类的疾病分割算法，目的是建立一个可以自动检测皮肤癌的系统。

技术

本节介绍了本研究中提出的方法。

本研究中的皮肤癌自动分类模型的构建有两个特点：在一个由专家标记的大型数据集上进行训练；通过转移学习构建模型。

数据集

本节描述了作为建议方法所使用的数据集。

这项研究利用了141万张预训练的图像，并考虑到了图像的可变性--即缩放和亮度。该数据集由皮肤科医生标记的图像组成，是一个由2032种疾病组成的树状结构的分类法，各个疾病构成叶子节点--见下图。

目标标签，即黑素细胞病变，还包括最严重的皮肤癌、恶性黑素瘤和良性痣；表皮病变包括恶性基底细胞癌、鳞状细胞癌、上皮内癌、恶性光化性角化病前期和良性脂溢性角化病。这些疾病被定义为由医学专家在临床和视觉上组织的分类学的一个子集。

拟议模型

本节介绍了图像分类的模型。

本研究中的模型构建利用了基于Inception v3的过渡学习：来自2014年ImageNet大规模视觉识别挑战赛的约128万张图像6--1000个物体类别）。- 在GoogleNet Inception v3 CNN中进行了预训练--见下图。

CNN在757个疾病类别上进行了训练，数据集被划分为127,463张训练和验证图像以及1,942张活检标记的测试图像。

结果。

本节介绍了评估情况。在这项研究中，评估采用了9倍交叉验证法来测试图像分类的准确性和所提模型的有效性。

皮肤癌分类的准确性。

本节介绍了对皮肤癌分类准确性的评估。

它首先针对三类疾病--良性病变、恶性病变、非肿瘤性病变的一级节点和树状图中直接通往皮肤病的节点进行了验证。结果显示，所提出的模型达到了72.1%的总体准确率--个别疾病的推断准确率的平均值；而两位比较专家的分类准确率为65.6%和66.0%。接下来，对每一类疾病中的九类疾病分区--二级节点、与第一类节点相连的疾病组--进行了验证：结果显示，提出的模型达到了55.4%，而两位皮肤科医生分别达到了53.3%和55.0准确率达到了%。这些结果也证实，在对细于3类或9类的疾病类别进行训练时，所提出的模型取得了比直接训练的CNN更高的准确性。由于验证集中的图像是由皮肤科医生标记的，但没有经过活检确认，因此可以推断CNN在这些疾病中学习了相关信息。

表皮和黑色素细胞病变的分类。

接下来，讨论了对照表皮和黑素细胞病变的分类进行验证。

在表皮和黑色素细胞病变的分类中，比较了CNN和21位认证皮肤科医生对该疾病的分类准确性--见下图。对于每张图像，皮肤科医生通过回答以下问题来评估分类的准确性：你是对病变进行活检/治疗还是让病人放心？红点表示一位皮肤科医生的敏感度和特异度。

CNN在757个疾病类别上进行了训练，数据集被划分为127,463张训练和验证图像以及1,942张活检标记的测试图像。

由此可见，CNN在敏感性和特异性方面优于皮肤科医生--每个案例的曲线下面积（AUC）都超过了91%。另外，当比较样本数据集和完整数据集时，AUC的变化<0.03，表明在较大的数据集中结果更可靠。

CNN的特点。

这里，t-SNE--t分布式随机邻接嵌入--被用来研究CNN的学习特征--见下图。

结果显示，每个点都是由CNN最后一个隐藏层的2048维输出投射出的二维皮肤病变图像，识别出同一临床类别的点集群。黑色素瘤集中在中央；而黑毛痣则分别集中在左侧和右侧，从而形成了中央对比照的结果。同样，脂溢性角化病的特点是与恶性角化病对称地聚集在一起。

考虑

在这项研究中，我们开发了一种算法，利用皮肤图像和图像分类模型自动判断皮肤癌。具体来说，在皮肤病变分类方面训练的CNN - Inception v3 - 被用来执行三项诊断任务--角质细胞癌分类、黑色素瘤分类和使用皮肤镜的黑色素瘤分类。验证的结果--在21位皮肤科医生身上进行的验证--显示，其性能等于或优于21位皮肤科医生的分类准确性。

该方法的特点是快速分类和高可扩展性。本研究使用的模型是一个由单层CNN组成的简单模型，但它不需要复杂的处理，所以假定它可以很容易地引入到临床实践中。此外，预计这项研究将产生重大的临床影响，因为现在由于移动设备的广泛使用，使用移动相机获取皮肤图像很容易。传统的咨询主要是基于皮肤科医生的视觉和内窥镜观察，而且往往取决于专家的经验。因此，如该模型所示，使用深度学习来实现对皮肤病变图像的分类，其准确度与皮肤科医生相同或更好，即使对于没有经验的医生，也能提高诊断的准确性。患者自己识别皮肤癌的能力也可能放大在发病前获得医疗护理的机会，并显著改善预后。

另一方面，一个挑战可能是在临床实践中的实施。由于本研究旨在实现一种在临床环境中从皮肤图像中自动判断皮肤癌的方法，因此有必要考虑该方法在临床环境中是否有用。虽然这项研究使用了一个简单的模型，但考虑到目前移动终端的性能，在处理速度上可能存在困难。解决这些问题的一个可能的办法是引入边缘计算中使用的技术。