深度学习的舌象诊断：从舌头上了解系统性疾病! Part2

医疗 14/04/2021

3个关键点
✔️ 在中国传统医学中起到了举足轻重的作用。舌头的诊断，特别是舌头上有牙印的诊断是主观的，是个难题。
✔️ 为了利用CNN识别舌头上的齿痕，我们建立了一个包含1548张不同设备拍摄的舌头图像的数据集，并提出了一个利用ResNet提取特征的模型。
✔️ 我们把模型的整体准确度从不到80%提高到90%以上。

Artificial intelligence in tongue diagnosis: Using deep convolutional neural network for recognizing unhealthy tongue with tooth-mark
written by XuWang, JingweiLiu, ChaoyongWu, JunhongLiu, QianqianLi, YufengChen, XinrongWang, XinliChen, XiaohanPang, BinglongChang, JiayingLin, ShifengZhao, ZhihongLi, QingqiongDeng, YiLu, DongbinZhao, JianxinChen
(Submitted on 8 April 2020)
Comments: Accepted to Computational and Structural Biotechnology Journal.
Subjects: CNN (cs: CNN)

背景

深度学习能否超越诊断的主观性，这是东方医学的挑战？

本文主要探讨舌诊，舌诊是针灸疗法、中医等东方医学的一种诊断方法。这种诊断方法在我国自古以来就作为一种望闻问切的方法，认为它不仅可以了解具体疾病，而且可以了解全身的失调，不仅可以治标，而且可以治本。另一方面，有人指出，这种诊断方法对于没有经验的医生和没有知识的人来说，很难实践，因为这种方法主要是靠医生的经验和主观判断。

在这项论文中，他们提出了一个基于CNN的架构来解决这些挑战。以往的研究方法大多报道的准确率为80%或更低，而我们提出的方法通过使用基于ResNet的特征提取和大量的舌头图像数据集，实现了90%或更高的准确率。在本文中，我们将对所提出的方法进行概述。

什么是东方医学？

首先，我简单介绍一下东方医学。

东方医学是一种具有约2000年历史的传统医学，是诞生于中国古代的一种思维方式和治疗方法。西医用药物和手术的方法直接对准身体不好的部位，而东方医学则主要是从内部治疗身体的问题，从根本上治疗身体的问题。此外，西医治疗疾病可以在短时间内完成，而东方医学治疗需要时间，但对身体的负担较轻，由于西医治疗的目的是治本，而不是对症治疗，所以常被用于治疗和改善顽疾。使用中药、中草药、针灸也是这类疗法的特点，常听到的"穴位"一词也是东方医学的概念之一。

在东方医学中，基本理念是诊断全身，而不仅仅是具体的器官，器官之间被认为是相互关联的。脏腑之间被认为是相通的，基于这一思想，"气、血、水"是检查健康状态的要素。气"是指进行生命活动所需的能量，"血"是指血液，"水"是指血液以外的体液，如淋巴、汗液等。健康的状态是指"气、血、水"在体内循环顺畅，没有过剩或不足。也有人认为，它们之间会相互影响，如果其中一个人不正常，整个平衡就会被打破。如果其中一个失衡，整个系统就会失衡。另外，气被认为是生命力的源泉，俗话说"病从气起"，认为先理气是最重要的。

什么是五脏？

五脏具有上述循环气血水的功能，由肝、心、脾、肺、肾组成。这些器官与西医中的器官是不同的（有些是重叠的）。

功能方面，肝为"贮藏血液，控制自主神经系统，肝胆"，心为"循环血液，调节睡眠节律，心脏"，脾为"新陈代谢，供给肌肉营养，消化系统"，肺为"循环全身之气，皮肤和水的代谢，呼吸系统"，肾为"生长、发育、生殖、衰老、泌尿系统如肾和膀胱"。我想，如果认为"泌尿系统"很容易把握形象。相信通过对这些系统的调理，对气的循环和维护，我们可以长期保持健康状态，长寿。

六腑也像这五脏的子孙，由胆、小肠、胃、大肠、膀胱、三焦组成。每一个都有一个母体器官。详细情况将在另一个场合介绍。

什么是舌诊？

舌诊（以舌为诊的方法）是东方医学的诊断方法之一，根据舌的形状和颜色来诊断疾病。据说，舌头的特征可以反映人体内部的健康状况（脏腑、气血、寒热等）和疾病的严重程度及进展，通过观察这些情况，可以选择合适的治疗方法。

然而，传统的舌诊是建立在医师主观观察的基础上，这种挑战往往会因为个人经验和环境光线的变化而产生偏差。因此，有必要制定一种客观、定量的舌诊方法，以帮助医师进行诊断。

特别是其中最重要的一个特征--齿痕，是从舌体受相邻牙齿的压迫中识别出来的。中医理论认为，齿痕常与脾虚、阳虚伴寒湿、痰浊液滞、血瘀有关。此外，齿状舌的微观变化还包括供血障碍、局部缺氧、组织水肿等。齿状舌患者的临床症状包括食欲不振、腹痛、胃胀、大便溏薄等。齿舌的诊断对症状的区分和治疗方法的选择起着重要的作用，但由于齿舌有多种类型（即颜色和形状），可能存在上述主观判断的因素，所以齿舌的识别对中医专家来说是个难题。因此，为了缓解这些主观方面造成的诊断障碍，引入深度学习。

以前对牙印识别的研究

为了克服上述由于牙印识别主观部分造成的诊断障碍，人们利用图像处理、统计学和机器学习技术提出了舌牙形状识别的计算机模型。这些研究主要集中在牙形区域的局部颜色和凹凸不平特征上，应用卷积神经网络(CNN)模型对牙印舌进行分类的研究也逐渐见诸报端，它能自动提取高级语义特征，在许多图像分类任务中表现良好。本文报道了卷积神经网络（CNN）模型在牙形分类中的应用。

他们在自动识别带有齿痕的舌头领域取得了很多成就，但也带来了重要的挑战。特别是很多模型的准确率低于80%，数据集来自同一设备，对其他设备拍摄的舌头图像进行分类的通用性未知，数据集的样本量较小（即645个），模型仅在从原始数据中分离出来的舌头区域图像上进行训练和测试，没有考虑到人脸的影响。和周边地区不考虑。

本研究的目的

在这项工作中，他们扩展了技术来解决这些挑战，专注于数据集和模型中更深层次的特征提取。具体来说，他们利用不同设备拍摄的1500多张舌头图像，建立一个更大的舌头与牙齿形状的数据集，并给每张图像标注一个舌头区域，构建一个舌头区域图像数据集。接下来，为了充分发挥深度学习的优势，他们使用具有更深层次的CNN模型来提取特征并进行分类。

技巧

数据集

为了建立稳定的舌象数据集，采用上海道士医疗科技有限公司（DS01-B）和上海协阳智能科技有限公司（XYSM01）设计的标准仪器采集舌象。(XYSM01)。本研究的详细评价程序如下。首先，三位专家明确了齿状舌的诊断标准，一位专家将1548张图片全部归为"有齿状"或"无齿状"。最后，另外两位专家分别对标注结果进行了确认。在意见不一致的情况下，三位专家经过讨论，做出了最终决定。因此，将672张有齿牙的舌头图像和876张无齿牙的舌头图像构建为数据集。此外，对于每个原始的舌头图像，我们手动标记的舌头区域。其目的是通过抑制无关的面部部位和舌头周围背景的影响来提高模型的性能。因此，构建了两个数据集：原始舌头图像数据集和舌头区域图像数据集。

结构

在本研究中，他们使用一个典型的ResNet架构（ResNet34），有34层来对舌头图像进行分类（图2）.随着深度的增加，CNN的训练难度越来越大，训练误差越来越大，ResNetResNet通过保持网络对由网络深度引起的消失梯度和退化问题的鲁棒性，优于传统网络模型。在每个卷积层之后使用一个整流线性单元（ReLU）作为激活函数。

学习和评估

该网络用之前在ImageNet数据集上训练的权重进行初始化。由于舌底图像的分辨率因设备不同而不同，因此在训练模型之前，将所有图像随机调整大小并裁剪为416×416像素，并通过水平翻转进一步调整。然后，他们运行了40个纪元，批量大小为16个，对网络进行微调。采用学习率为0.001、动量为0.9的随机梯度下降（SGD）作为优化器。对于测试，他们将训练网络的输入测试图像调整为420×420像素。

准确度、灵敏度和特异度是用来评价模型的性能。他们还使用k-fold交叉验证进行训练，这被认为是稳健和无偏的。一般程序如下：1）将数据随机分为k个子集2）分配一个子集，并在其他所有子集上训练模型3）在分配的子集上测试模型，并记录评价指标4）重复上述过程，直到k个子集中的每个子集都是测试数据集。4）重复上述过程，直到k个子集都是测试数据集 5）通过计算k个模型的评价指标的均值和方差来总结性能。在本研究中，他们以k=5为实验单位，随机洗牌1548张舌头图像，并将其分为5个子集，其中4个子集用于训练，剩余1个子集用于测试。然后，他们计算了5个模型的准确度、灵敏度和特异度的平均值和标准差（SD）。

测试方法

为了评估该模型的鲁棒性，在一个新的测试数据集上进行了测试，该数据集由50张舌头的图像组成，这些图像是用普通相机拍摄的，并受到各种照明条件的影响。其中分为27张有齿舌的图像和23张无齿舌的图像进行评价。另外，牛津大学视觉几何组提出的VGG16被用于对比实验。在这个模型中，输入图像的大小是416×416，所以在完全连缀（FC）层之前应用了一个输出大小为7×7的自适应平均池化层。训练参数的调整方式与上述ResNet34中的相同。他们将这些模型与之前的研究进行比较（Sun等人）。他们还使用梯度加权类激活图谱（Grad-CAM）来可视化舌头上最有指示性的牙痕区域，并可视化模型的决策标准。Grad-CAM是将CNN卷积层中的估计判断标准通过热图可视化的技术。Grad-CAM是通过热图将CNN卷积层的决策标准可视化的技术，有助于解决深度学习领域一直存在的黑箱问题。

结果

测试数据验证

本次评估的目的是通过评估所提出的方法在普通相机捕获的舌头图像数据上的估计性能，来检查该方法的鲁棒性。舌头图像数据集由50张舌头图像组成，新的舌头区域图像数据集由50张舌头区域图像组成，这些图像是由人工从原始图像中分离出来的。由于该测试数据集中的图像是由相机在不同的光照条件下拍摄的，他们表示整体准确度超过85.00%，这说明所提出的方法可以扩展和推广到不同光照条件下拍摄的图像。

与VGG16架构的比较

本次评估的目的是研究CNN架构的变化如何影响估计的准确性。

以VGG16为评价对象进行比较，结果如下图所示。对于原始舌头图像数据集和舌头区域图像数据集，5倍交叉验证的平均准确率为89.40%和90.96%。因此，他们证实ResNet对原始舌头图像提高了1.10%，对舌头区域图像提高了0.52%，从而提高了舌头与齿状物的分类精度。

与相关研究的比较

本次评估的目的是比较以往研究中模型的准确性。

从下表来看，舌头原始图像数据集的平均准确率为70.61%，舌头区域图像数据集的平均准确率为71.77%，比他们的方法低了近20%。他们还表示，考虑前人研究和所提出的方法在输入图像大小上的差异的结果并不会显著影响模型的分类结果。基于这些结果，我们报告说，所提出的方法ResNet34，VGG16，提高了约20%的分类精度。

Grad-CAM的评价

这种分析的目的是为了明确所提出的模型关注输入图像的哪一部分进行分类。从下图来看，齿痕区域被Grad-CAM突出显示，说明分类模型对感兴趣的区域给予了适当的关注。

考虑

在本文中。舌牙的特点是中医诊断的重要指标，但由于诊断医生的经验和主观判断，归纳总结一直是个难题。因此，提出了利用深度学习技术与舌头图像对其进行泛化。

在这项研究中，他们提出了一个识别舌头的框架，特别是那些具有牙齿形状的舌头。首先，通过各种设备采集1548张原始舌头图像，并将其分为672张有齿痕的舌头图像和876张无齿痕的舌头图像，建立一个带有标签的舌头区域图像数据集。然后利用ResNet34 CNN模型对特征进行提取和分类，结果表明，所提出的模型整体准确率达到90%以上。有趣的是，该模型在其他设备拍摄的不同光照的图像上也有良好的表现，说明所提出的方法比以前的方法明显提高了准确性，而且该模型即使在不同的图像来源上也是有效的。

另一方面，可以考虑以下问题：在报道的评价中，特异性高于敏感性，推断阳性和阴性样本不等。同时推断舌区图像数据集的模型精度高于原始图像的精度，对舌区图像需要进行分割，根据这些算法的不同，其精度可能会有所不同。另外，本研究准备的数据集是在专家仔细确认和诊断的情况下构建的，这可能需要大量的成本来进行数据集的构成。

尽管存在这些不足，但我们的结果表明，CNNs对于舌头图像分析是有效的，并且包含了对未来泛化的重要见解。