深度学习的舌象诊断：从舌头上了解系统性疾病! Part3
3个要点
✔️在东方医学中，人的具体体质是决定疾病和治疗方针的因素，任务是根据中医的概念将人分为9种类型，但诊断需要主观性和经验，泛化是一项艰巨的任务，所以利用舌头图像进行深度学习是有意义的
✔️本文通过对舌头图像的检测和校准，提出了一种从舌头图像中自动识别构成的CP方法，并根据各个舌头图像的复杂程度选择分类器，以应对环境条件和不均匀分布的影响。
✔️. 使用在医院拍摄的三种不同尺寸的舌头图像进行评估，结果显示，所提出的方法优于ResNet和VGG-16等传统模型，这表明按复杂性和使用不同的分类器对数据集进行分类是有用的。
Complexity perception classification method for tongue constitution recognition
written by Jia jiong Ma, Gui hua Wen, Chang jun Wang, Li jun Jiang
(Submitted on May 2019)
Comments: Published by arXiv
Subjects: CNN (cs: CNN)
背景
根据一个混合了各种环境因素的数据集，建立分类器的合适方法是什么？
本文主要论述舌诊体质，舌诊是东方医学的诊断方法之一。舌诊在我国自古以来就作为四诊之一，即望闻问切(一种以貌取人的诊断方法)，对于了解全身的失调，包括具体疾病，不仅治标，而且治本。因此，据说它对西医难以治疗的难治性疾病和罕见病的治疗效果特别好，随着疾病的多样化，对它的需求也越来越大。另一方面，有人指出，这种诊断方法对于没有经验的医生和没有知识的人来说，是很难实践的，因为它主要靠医生的经验和主观判断。在这种情况下，近年来取得显著进展的深度学习引起了人们的关注，因为它可能使经验或知识不多的人通过使用从舌头图像中学习特征量的模型来实现高精度的诊断。
在本研究中，我们重点研究了这种舌诊中的构成诊断，并提出了一种学习模式。后面我们会看到，构成是决定中医诊断方针的基础之一，只要进行准确率高的诊断，才有可能进行准确的诊断。特别是，所提出的方法侧重于减轻成像的变异性，消除样本中Case Controls之间的不平衡。本文对所提出的方法进行了概述。
什么是东方医学？
首先，我想简单介绍一下东方医学。
东方医学是具有两千年左右历史的传统医学，与当今许多发达国家引进的西医有着不同的特点。例如，西医通过药物或手术直接接近身体的不良部位，而东方医学主要是从内部对身体的失调进行根本性的治疗。另外，西医可以在较短的时间内治疗疾病，而东方医学需要的时间较多，但对身体的负担较小。东方医学的特点是以中药、中草药、针灸为主，常听到的"穴位"一词也是东方医学的一个原创概念。
东方医学是以"气、血、水"的概念来诊断和治疗全身，而不是具体的器官，因为器官之间是相互关联的。这里的"气"是指进行生命活动所必需的能量，"血"是指血液，"水"是指血液以外的体液，如淋巴液、汗液等。健康的定义是"气、血、水"在体内畅通无阻，没有多余或不足的状态。如上所述，这些液体被认为是相互影响的，如果其中有一个不正常，整个身体的平衡和体质就会被破坏，所以气血和水的平衡很重要。特别是气被认为是生命力的源泉，俗话说"病从气起"，气的管理是最重要的。
什么是五脏？
五脏具有上述循环气血水的功能，由肝、心、脾、肺、肾五部分组成。这些与西医的脏器是不同的概念，虽然加了"脏腑"二字（有一些重叠）。
各脏器功能概要如下：肝："贮藏血液，控制自主神经系统"，心："循环血液，调节睡眠节律"，脾："新陈代谢，供给肌肉营养"，肺："循环全身气血水液，抵御外敌"，肾："生长、发育、生殖、衰老、排泄"。相信通过调节这些器官，保持气的循环，可以使人长期保持健康状态，长寿。
此外，六腑与五脏是主仆关系。这些就像五脏的子孙，由胆、小肠、胃、大肠、膀胱、三焦组成，分别对应肝、心、脾、肺、肾、心包膜（包围心脏的膜）。
东方医学中的宪法
中医中的体质被认为是生命活动中的先天性和后天性特征之一，是与特征性疾病高度相关的重要因素之一，决定着疾病的趋向，并用于决定治疗。这些体质分为气虚、阴虚、阳虚、痰湿、湿热、气郁、血瘀、特殊体质、温和九种。例如，气虚就是前述的气虚，被认为是一种体质，容易出现全身乏力、头晕，也容易生病。为了了解这些宪法，采用了问卷调查，但问卷调查很容易受到个人主观意图的影响，需要花费大量的时间进行调查。因此，人们注意到了一种对这些方法进行补充的方法，即利用舌头的图像从舌头检查中确定体质。
什么是舌诊？
舌诊(用舌头诊断)是东方医学的诊断方法之一，根据舌的形状和颜色来诊断疾病。在东方医学中，舌头反映了人体内部的健康状况（脏腑、气血、寒热等），也反映了疾病的严重程度和发展情况。
另一方面，传统的舌诊主要靠医师的主观观察，存在因个体经验和环境变化（如光线）而产生偏差的问题。特别是在前述的体质诊断中，由于体质本身具有主观性，许多方法都被报道出来，提出了体质评价和舌象概括的框架。为了缓解这些主观方面造成的诊断障碍，深度学习的引入使得舌诊的客观定量方法得以发展。
以往关于舌象诊断的研究
但是，大多数利用舌头图像进行宪法识别的研究主要是分析舌头图像与宪法类型之间的统计学意义上的相关性，而利用机器学习进行自动宪法识别的研究很少。在这些研究中，可以把每个舌像看作是一个舌像分类的问题，把每个舌像分为9种构成类型，这样就可以考虑引入深度学习，但就目前而言，研究自动特征提取特点的研究还很少。此外，虽然已经考虑引入深度卷积神经网络来处理舌头图像，但还没有提出集舌头检测、舌头校准和宪法识别于一体的框架。作者提出了一个自动实现宪法识别的系统框架，由舌图采集、舌涂检测、舌涂校准、舌特征提取、应用深度学习方法进行宪法分类组成。
本研究的目的
本文提出了一种复杂性感知（CP）分类方法，在作者提出的诊断框架中，根据图像分类的难易程度，使用不同的分类器来实现舌头图像的宪法识别。在该方法中，模型考虑了舌头图像的个体水平复杂性，以减轻各种环境条件（如照明和分辨率）造成的图像分布不均匀的影响。
拟议方法的概要
为了准确提取舌头图像的特征，作者提出了一个系统框架(图1)，将深度学习方法与大型学习数据库结合起来识别构成，包括六个步骤。第一步是舌头图像的采集，假设在自然环境下使用相机采集。第二步是预处理，其中包括舌头的检测，检测采用的是Faster R-CNN，在物体检测领域使用的是Faster R-CNN，对VGG检测到的舌头区域进行校准，得到准确的图像。之后，从整个舌头图像中分割出舌头涂层图像。第三步，利用深度学习技术对分割后的舌头图像进行特征提取，最后基于CP法进行宪法诊断。
复杂性认知（CP）分类法
复杂度感知法(Complexity perception，CP)是根据分类的难易程度，采用不同的分类器来提高估计精度的方法。通常情况下，学习模型对于容易分类的简单样本有较高的准确率，但对于难以分类的复杂样本（即接近边界、有噪声的样本），准确率往往会下降。特别是在采集图像的不同条件下，由于光照条件等的不同，样本分类的难易程度预计会有很大的差异，CP法对样本分类的难易程度进行量化评估和划分，分别训练容易和难于分类的样本，从而达到CP法的目的是对各种条件下拍摄的舌头图像进行高精度的估计。
作为所提出的方法中具体的复杂度模型，我们通过对样本简单度的度量对样本进行标注（见下文），并通过K-最近邻法和逻辑回归模型构建学习模型来区分简单样本和复杂样本。在训练中，我们从样本和标签中调整参数。
在以这种方式建立简单性分类的学习模型的同时，我们将每个样本分为容易识别或难以识别，并对每个分类类别进行训练（图2）。第一步是对样品的舌头涂层进行检测和校准。第二步是利用Resnet-50、Inception-V3和VGG-16等深度学习方法进行特征提取，以及LBP和颜色Moment。第三步是根据每个样本的计算量和复杂度，将训练样本分为易学和难学。第四步，我们从每个样本的这些简单性标签中构建新的训练数据，分别在容易和困难的数据上训练分类器，建立一个高性能的模型。在测试阶段（图2右侧），我们用与训练阶段相同的方法提取测试样本的特征，然后在新的测试样本上使用学习到的简单性判别模型来判断测试样本是否容易分类。如果测试样本易于分类，则采用简单模型；如果难以分类，则采用复杂模型。
核查方法
为了评估所提出的方法的性能，我们构建了一个关于舌头图像的数据集，也比较了几种相关的最先进的方法。舌头图像的数据集包含22482个宪法图像，显示每个宪法都有自己的不相称性（图3）。
此外，对于所提出的方法，采用了两类模型进行特征提取：图像特征和颜色和纹理VGG-16模型、Inception-V3模型和ResNet-50。这些网络在ImageNet中进行了预训练，并使用Adam运行了100个批次大小为64的epochs，初始学习率设置为0.0001。我们应用LBP进行纹理特征提取，应用Color-Moment进行颜色特征提取。首先对舌头图像进行分割，在一个半径的圆上用8个采样点对每个区域引入LBP后，用PCA将特征拼接在一起，并缩减到50个维度；Color-Moment根据图像的均值、方差和偏度进行对应舌头图像颜色分布的特征提取。最后，将特征汇总为纹理和颜色特征的组合。
本文将训练集和测试集进行5倍交叉验证，并将训练集的15%作为验证集。我们还使用Softmax、SVM和DecisionTree三种基本分类器来评估CP的效果。最佳超参数θ由验证集确定，参数N和k根据我们的实验经验设定为150和50。最后，用5次实验的平均分类精度来评价该方法的性能。
结果
改变训练数据的结果
我们评估了CP在三个数据集上的性能，以研究不同训练数据集的性能差异。
下表显示了在数据集Tongue-100、Tongue-80和Tongue-60上的对比结果，其中Tongue-60是指60%的训练样本应用于实验；ξA是在所有训练样本上训练的基础分类器ξ，ξE是在易在训练样本上训练，ξD代表在困难的训练样本上训练的情况，我们在Softmax、SVM和DecisionTree中选择作为分类器。
在Tongue-100上的实验结果显示，易识别样品的平均准确率比整体高2.14%，难识别样品的平均准确率高12.47%。从这些结果可以看出，当分类器在分段样本上而不是在整个训练样本上进行训练时，所提出的方法的性能更高。此外，我们可以看到，当考虑三个分类器时，所提出的方法CP在所有测试样本上的表现都优于比较法，表格显示CP在基本分类器DecisionTree上表现最好。同样，从Tongue-80和Tongue-60的结果来看，分区数据集的准确率更高，提出的方法比Softmax和使用决策树的SVM在分类性能上获得了更好的提升。
按类别比较
本次评价的目的是评估拟议方法在宪法类别中的表现。我们同时使用Resnet50+决策树和VGG16+SVM作为基线，并测量CP在Tongue-100上的性能。
从测试样本的分类混淆矩阵来看（如下图（a）和（b）），当应用Resnet50+决策树和CP时，CP对气虚、阴虚、阳虚的识别准确率分别提高了2.42%、3.27%和2.11%，CP对痰湿、湿热、气郁、柔软的识别准确率也有所提高同样，同样，从VGG16+SVM和CP的混淆矩阵来看（如下图（c）和（d）），证实了大部分类别的分类性能得到了提高，而没有降低其他类别的准确性。
对不平衡的数据强化评价
本次评价是为了研究所提出的方法在被评价的不平衡数据上的性能。
众所周知，由于数据集中的类别不平衡，分类器倾向于将样本分为较大的类别，从而降低了分类精度。因此，为了表明我们的方法可以通过数据增强来提高性能，我们增加了一个数据增强的实验。
我们选择了识别精度最高的VGG-16模型，并选择了水平翻转、随机裁剪、随机移动和随机旋转进行数据增强（见下表）。证实所提出的方法是最好的。
考虑
舌牙外形特征是中医诊断的重要指标，但由于诊断医生的经验和主观判断，难以一概而论。因此，有人提出利用深度学习技术与舌头图像进行泛化。在本研究中，我们特别提出了一种CP方法，根据舌头图像中环境变化导致的样本分类难度来选择分类模型。
评测结果显示，在易分类数据集上，平均准确率提高了2.73%，系统在复杂样本上的准确率提高了6.52%。这些结果表明，将数据集按照复杂度分成两个子集，可以有效提高分类的准确性。从难度较大的测试样本的对比结果来看，复杂数据集与Tongue-100、Tongue-80、Tongue-60的总体准确率分别相差12.47%、5.26%、1.84%。这表明，数据集的大小会影响分类器区分易识别和难识别样本的能力。当设置决策树分类器作为基本分类器时，所提出的方法的性能最高。
这项研究改进并表明，即使图像来自不同来源，该模型也是有效的。虽然本次评估使用了中国患者的舌象，但预计所提出的方法不受这种民族性的影响，可以很容易地扩展到其他数据。
另一方面，我们考虑以下挑战。我们认为，多标签的学习是认识舌头构成的必要条件。由于人的构成是复杂的，假设存在同时包含上述九种构成中的几种情况，多标签学习对这种情况将是有效的。最后，可以设计一种新的方法来测量样品的复杂性。
与本文相关的类别
