[发明专利]一种多尺度多标签融合的中医舌象分类方法

说明书

一种多尺度多标签融合的中医舌像分类方法，涉及计算机视觉技术领域，将深度学习的理论知识应用于舌象特征分类中，该方法利用特征金字塔网络将高层的语义信息和低层的细节特征进行融合,形成较大分辨率的特征图,对处理后的舌象特征进行标注并提取标签的关联性，获得分类结果。本发明有益效果：本发明将深度学习的理论知识应用于舌象特征分类中，该方法通过对特征金字塔网络中的多尺度特征进行提取融合以增加特征的分辨率和多样性，并进行多标签分类，从而提高舌象分类的准确性和鲁棒性。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种多尺度多标签融合的中医舌像分类方法。

背景技术

中医舌象特征的自动分类是舌诊客观化的核心内容，分类结果的准确程度决定了后续处理的可靠性和中医从业者们的接受程度。根据中医以表知里的诊断原理，舌象特征变化反映了人体脏腑的功能病变，是气血盛衰在舌上的一种表现，故对舌象自动分类成为舌诊客观化的研究热点。

在利用计算机对舌象特征进行分析时，要从舌图像中得到与机体的生理功能和病理变化相关的舌象特征。由于舌质颜色各类别之间颜色差异较小，且具有一定的相似性，因此对舌象的分类精度越来越高。但多数研究中的舌象分类任务，被设定为单标签的多类(或二元)分类问题，而少数运用多标签学习的研究，况且标签数量较少，且并未运用深度学习技术，因此效果一般。医学的分类问题，从实用性角度，应该是多输出分类的，而多标签分类即是多输出分类的一种。

以往大多数针对舌象的分类研究，是对各个标签进行单独分类，忽略了标签之间潜在的依赖关系，目标之间的这种潜在的依赖性能够在一定程度上的提升多标签图像的分类效果。少数采用多标签的研究要么没有采用深度学习的技术，要么没有充分挖掘标签之间的依赖关系，影响了舌象分类的准确度。

发明内容

本发明所要解决的技术问题是提供一种多尺度多标签融合的中医舌像分类方法，解决现有技术中舌像分类准确度不高等问题。

本发明为解决上述技术问题所采用的技术方案是：一种多尺度多标签融合的中医舌像分类方法，包括如下步骤：

步骤1、在标准光和固定专业拍照设备条件下采集舌像，对采集到的舌像进行预处理，构建原始舌像数据集；

步骤2、构建多尺度特征融合网络，在特征金字塔网络结构中，对输入的舌图像进行特征提取，再通过叠加操作融合金字塔模型中对应层特征，构建最终输出特征，最后对融合后的特征进行整合；

步骤3、使用半自动化标注方法，对步骤2提取出的舌像特征进行标注；

步骤4、对步骤3标注的特征根据舌体区域的不同划分为不同的子类标签集，然后将所有的子类标签集整合为一个多标签数据集；例如舌尖区域的特征子标签集在经过分析后得出的结果是关于心肺方面的，裂纹舌主要分布在舌根和舌中位置，则分析裂纹舌只需划分两个区域：舌根舌中和其他；

步骤5、采用多标签分类方法训练分类模型，模型在训练过程中自动挖掘各标签之间的相关性，将其应用于分类模型中，使舌象分类更加全面；

步骤6、输入待测试的舌像照片，并对其进行有效度判断，满足要求则进行下一步；

步骤7、将待测试的舌像放入训练好的模型中进行预测，输出分类结果。

本发明所述步骤3中使用的半自动化标注方法是指采用Python的Labelme开源图像标注软件，先人工通过软件对舌象的大致结构进行区域划分并进行标注，然后人工确定好标注的方法和范围，使用软件对剩余的图片进行自动化标注，最后人工进行核对。

本发明所述步骤5中采用多标签分类方法训练分类模型训练的具体过程为：舌象进入到卷积神经网络后，通过自动分析各类子标签集，挖掘小目标之间的关联性，从而分析出舌象的各类特征；然后在训练过程中不断调整参数，优化整个网络模型，保存最优的权重信息。

本发明所述步骤6中对待测试的舌像照片有效度进行判断的方法为：判断舌体在整个摄像图片的占比是否满足要求。