从少量的图像中建立一个精确的模型!一个使用转移学习的舌头图像的拟议分类模型。

医疗 20/05/2021

三个要点
✔️在中医中，舌象与健康状况密切相关，分析技术在自动诊断中的应用也备受关注，但舌象的样本数量偏少的倾向被指出是一个问题。
✔️.本文研究了使用转移学习进行舌头图像分类的性能，即使样本数量少，也能达到很高的准确率，目的是解决舌头图像中样本数量少的问题。
✔️从转移学习模型--ResNet/Inception_v3--和2245张舌头图像的数据集评估结果来看，提出的方法取得了比现有方法更好的分类精度，这清楚地表明了转移学习在舌头图像上的有效性。

Classifying Tongue Images using Deep Transfer Learning
written by Chao Song Jiatuo Xu
(Submitted on June 2020)
Comments: Published by IEEE
Subjects: Transfer learning

背景

转移学习是解决舌头图像中样本数量少的有效方法吗？

在本文中，我们基于图像分析的转移学习模型--ResNet和Inception_v3--在2245张舌头图像的数据集上研究了三种特征分类，以阐明转移学习在舌头图像分析中的有效性。基于图像分析的转移学习模型--ResNet, Inception_v3--我们使用2245张舌头图像的数据集研究了三种类型的特征分类。在中医里，舌头和人体健康密切相关，但诊断者的主观性往往很强，缺乏客观性。出于这个原因，人们的注意力一直集中在诊断技术的开发上，这些技术使用深度学习从舌头图像中自动提取和学习特征，并补偿主观性。另一方面，有人指出，这些图像中的样本数量往往很少。在这项研究中，我们结合转移学习研究了舌头图像的分类性能，转移学习即使在样本数量较少的情况下也能达到较高的准确性，以解决这些问题。所提出的方法选择性地结合了具有不同学习率的模型，评估结果表明，所提出的方法在三种特征分类中优于传统方法：平均正确率为95.92%。这些结果表明，转移学习在舌头图像的分类问题上有很高的准确性，可以成为消除诊断人员主观性的解决方案。

什么是东方医学？

首先，我将简要地解释一下东方医学。

东方医学是一种具有约2000年历史的传统医学，起源于古代中国。东方医学与目前许多发达国家使用的西医有不同的特点：例如，西医通过药物和手术直接接近身体的不良部分，而东方医学则从内部根本上治疗失调。东方医学的负担较轻，并注重疾病的根源，以获得更长远的治疗。由于这个原因，据报道，在某些情况下，东方医学被用来治疗和改善西医难以治疗的顽固性疾病。东方医学还使用草药、中草药、针灸和艾灸，经常听到的 "穴位 "一词是东方医学的一个原创概念。

东方医学认为，器官不是独立的，而是相互关联的，并将身体作为一个整体进行诊断，而不是具体的器官。基于这一思想的概念是 "气、血、水"。气、血、水 "的概念是东方医学对身体的认识。"气 "指生命活动所需的能量，"血 "指血液，"水 "指血液以外的体液，如淋巴液和汗水。健康被定义为这些液体在体内顺利流动而没有过量或不足的状态。如上所述，这些液体相互影响，因此如果其中任何一种液体出现异常，整个身体的平衡和身体状况就会崩溃，导致不健康的状况。因此，据说保持这些元素的平衡就能保持健康。特别是，气被认为是生命力的源泉，俗话说 "病从口入"，气的循环往往是治疗中最重要的因素。有一个叫做 "五脏 "的概念，从更多的物理方面显示这种关系，这将在下一章解释。

什么是五个器官？

五脏有循环气血和水的功能，由五个器官组成：肝、心、脾、肺、肾--这些与西医的所谓器官是不同的概念，尽管使用了 "脏 "这个词（有一些重叠）。

每个器官都有其特定的功能，这些器官的顺利运作有助于保持健康：肝脏储存血液并控制自主神经系统；心脏循环血液并调节睡眠节奏；脾脏为新陈代谢和肌肉提供营养；肺脏将气、血和水循环到全身并抵御外敌；而肾脏负责生长、发育、繁殖、衰老和排泄。排泄。通过调节这些器官和保持气的循环，人们认为可以保持健康和长寿。此外，还有六腑的概念，它是五脏的孩子，与肝、心、脾、肺、肾、心囊相对应。

此外，还有 "生生相克 "的概念，它显示了五脏之间的关系，并被用作实际治疗的准则。如上所述，五脏不是独立工作的，而是相互关联的，五脏之间的关系通过 "生克 "的概念表现出来：生克是增强其他脏器的关系；生克是压制其他脏器的关系。因此，对心血管疾病患者的治疗，除了心脏本身，还要加强肝脏。这样一来，东方医学的特点是强调整体的流动，而不仅仅是一个器官。

什么是舌头诊断？

舌诊是东方医学中的一种诊断方法，根据舌头的形状和颜色来诊断疾病。在东方医学中，舌头的状态反映了身体内部的健康状况 - 脏腑、气血、寒热等 - 以及疾病的严重程度和进展。

另一方面，传统的舌头诊断主要是基于医生的主观观察，由于个人经验和环境的变化（灯光等），存在着偏差问题。特别是东方医学中强调的体质诊断，由于体质本身的主观性，很难一概而论。因此，许多研究报告提出了评价和概括舌头图像的框架。对于这样的泛化，人们对在舌头图像上实现深度学习给予了很大关注。

在舌头图像中实施深度学习的挑战

除了这些挑战之外，目前在公共领域并不存在一个关于舌头图像的大型数据集，这就指出了样本量小的问题。深度学习方法通常需要大量的样本来提取有效的图像特征。另一方面，就目前的情况来看，有很多情况下舌头图像的样本数量很少，明确一种从少量样本数据中提取高度有效特征的方法对解决这些问题具有重要意义。

本研究的目的

在本文中，我们结合了几种能以少量样本达到高性能的转移学习方法，得出了舌头图像的特征提取，并旨在利用这些图像开发自动诊断和治疗技术。为了减少舌头图像分割所需的大量时间和精力，我们提出了一种结合了级联分类器和深度迁移学习的分类方法--特别是基于局部二进制模式（LBP）特征的级联分类器。基于LBP（局部二进制模式）的特征，自动确定舌头的位置，并自动进行分割。此外，通过结合具有不同学习率的多个过渡学习模型，我们旨在实现高度准确的分类和识别。

技术

拟议方法的概要

所提出的模型（图2）定义了由级联分类器分割的舌头图像作为神经网络的输入，通过对舌头图像的特征提取，利用不同的深度学习模型，在最终的舌头图像中建立一个特征分类模型，为三个不同的特征建立预测模型。在这些步骤中，a）舌头分割，b）转移学习模型，将在下面讨论。

舌头的分割

这种方法减少了舌头图像中的非舌头部分--分割--并自动定义了舌头区域，以提高准确性。

除了舌头本身，捕捉到的舌头图像往往包含其他无关的信息，如面部表情、背景等。由于这些信息会降低舌头图像分析的性能，因此有必要首先对舌体进行分割。在此，我们提出了一种基于级联分类法的舌头区域自动定位和分割的方法，该方法来自使用LBP特征的提取方法。

其中（xc，yc）是中心像素的坐标，p是邻域的第p个像素，ic是中心像素的灰度值，ip是邻域像素的灰度值，s（x）是符号函数（见下文）。

转移学习模式

在这一节中，我们将描述所提出的方法中使用的模型，它是基于转移学习的--一个结合了三个不同的神经网络的拟议模型。

在这项研究中，由于所选的舌头图像数据集的样本量和分布与用于训练原始网络的ImageNet数据集差别很大，因此假定无法从舌头图像中提取适当的特征--由于梯度损失导致的过度拟合和网络模型的无效收敛等问题。由于过度拟合或梯度损失，网络模型可能无法有效收敛。

因此，为了提高网络的稳定性和性能，引入了一些改进措施：输出层被全局平均池和Dense取代，采用softmax函数使输出网络正规化，防止过度拟合；和使用随机梯度下降法（SGD）进行优化；不同模型的学习率不同。利用这些设置，我们比较了三个网络的分类精度，以分析网络深度如何影响分类结果，并验证转移学习的有效性。

验证方法

为了测试所提出的模型的性能，对舌头图像数据进行分割，并在不同深度的神经网络上进行训练，对三种不同的舌头图像的特征进行分类--齿状舌、裂纹舌和舌厚。然后我们对结果进行比较和验证。

验证中的实验数据是从几家医院收集的，并由中医专家进行分类--有齿：516件，无齿：566件，裂缝：391件，无裂缝：250件，厚：392件，薄：130件。原始图像的大小被固定为5568 * 3172像素。

结果

与转移学习以外的模型的比较结果

这项评估的目的是比较和澄清本研究提出的使用转移学习的模型与传统图像分析模型的性能。对三种类型的特征进行评估：I. 牙齿印记; II. 舌头上的裂缝；III. 舌头的厚度。作为一个比较模型，我们与三个图像分析模型--ResNet18、ResNet50和Inception_v3进行性能比较。

评估结果（表1）显示，所提出的方法可以提高舌头图像特征的分类精度，并降低深度神经网络的训练成本。同时，结果显示，网络模型的训练速度加快：平均分类准确率为95.92%。结果还表明，对于舌头图像的三个特征，所提出的方法的性能优于传统方法。

考虑

为了消除中医舌诊的主观性，利用舌象的自动诊断正在引起人们的注意，但这些图像中的样本数量少，被指出是一个挑战。在这项研究中，我们通过结合转移学习研究了舌头图像的分类性能，即使样本数量不多，也能达到很高的准确率。在提出的方法中，我们有选择地结合不同学习率的模型，以更准确地提取图像特征。评估结果显示，在这三种类型的特征分类中，所提出的方法在所有情况下都比传统方法有更高的性能：平均正确率为95.92%。从这些结果可以看出，基于迁移学习的方法在舌象分类问题上具有较高的准确性，可以有效地消除中医舌诊中诊断者的主观性。

此外，评估结果（表1）表明，所提出的模型是稳健的，不会因为层数的增加而降低估计的准确性。一般来说，有些模型随着网络层数的增加而提高分类精度，而有些模型在层数增加到一定程度时突然失去了精度--这一点在上表中被ResNet证实。这可能是由于数据集的过度拟合，导致在一定数量的层之后分类性能下降。为了解决这些问题，所提出的方法，允许我们选择不同的学习率，可以有效地避免过拟合，提高分类精度。

　另一方面，可以考虑以下问题。首先，在这个评价中，关于舌头图像分割的评价的详细部分没有描述。由于舌尖上的图像一般是由普通相机等设备采集的，因此被认为会受到测量误差的影响--设备和采集器之间的误差。事实上，已经有几项研究报告集中于舌头图像的提取--舌头图像的分割--考虑到了这些问题。虽然这项研究描述了带有预处理的LBP的分割，但由于它没有讨论这些方法对准确性的影响，所以并不清楚。这个问题的一个可能的解决方案是使用多种成像设备进行评估。其次，正确答案率被作为分类的评价指标。在一些研究中提到，大多数舌头图像在构成和特征上都有不平衡性，因此，用正确率来评价很可能受到不平衡性的强烈影响，不适合作为评价指标。因此，有必要提出一个指标，如ROC曲线下面积（AUC），它考虑到了阳性的影响。