[发明专利]一种多任务舌象自动分析方法

说明书

本发明公开了一种多任务舌象自动分析方法，包括以下步骤：采集舌象图片，将所有的图像根据标签的有无分成强标签集和无标签集；使用所述强标签集训练两种不同架构的多任务深度神经网络；使用所述无标签数据交替优化两种所述不同架构的多任务深度神经网络；将舌象图片输入到两个训练好的所述多任务深度神经网络，分析得到的两个输出结果的平均即为最后的舌象多任务分析结果。本发明公开的一种多任务舌象自动分析方法，是针对目前基于人工智能的舌诊分析技术所存在的局限性以及缺陷，我们试图采用半监督的学习方法，在拥有少量有标签舌象数据的情况下，利用其它的无标签数据，学习舌象的特征，提高模型的分类精度以及泛化能力。

技术领域

本发明涉及智能诊断领域，尤其涉及一种多任务舌象自动分析方法。

背景技术

传统中医在我国拥有着几千年的历史，其主要通过望闻问切对理疗者的病症进行判断，在治病和养身领域有着显著的成效。作为望诊的一部分，中医舌诊也成为中医诊断的一个重要依据。舌头的形状、颜色、裂纹的有无及深浅、齿痕的有无均能一定程度上体现疾病的性质，病势的深浅，气血的盛衰。中医师的供不应求，以及随着基于机器学习，深度学习的图像识别技术在计算机领域的蓬勃发展，导致中医舌诊的智能化分析已经成为潮流。

北京科技大学发明了基于卷积神经元网络的中医舌诊模型的确定方法及系统(专利号ZL 201610300494.4)。该方法通过调整卷积神经元网络每层神经元的个数，利用舌上图像作为训练集对调整后的多个不同卷积神经元网络分别进行训练，确定多个不同结构的卷积神经元网络的参数，最后利用测试集作为输入选取其中诊断准确率最高的一个网络模型。

厦门大学发明了一种开放环境下中医舌象目标检测方法(专利号ZL201610300494.4)。该方法首先采集图像，然后对图像的RGB分量进行线性变换实现颜色校正。然后采用不同方法对图像进行分割后将分割区域求并集。然后使用分割后舌体的纹理信息作为特征，对舌象进行分类。

华南理工大学发明了一种基于深度神经网络的舌苔体质辨别方法(公开号CN106683087 A)。该方法先将采集的舌部图片进行颜色空间的归一化及大小的调制，然后利用一种基于区域的快速卷积神经网络初步检测舌苔位置，再用神经网络算法进一步精确定位舌苔位置，利用卷积神经网络算法和递归神经网络算法提取舌苔特征，最后利用softmax分类器或支持向量机分类器进行舌苔体质分类。

北京工业大学发明了一种基于卷积神经网络的中医舌色苔色自动分析方法(公开号CN 107330889 A)。该方法通过中医舌象仪采集舌部图像数据，利用K均值聚类实现舌苔和舌质的分离，并由中医专家标定舌色苔色。构建卷积神经网络分别对舌色数据集和苔色数据集进行训练，得到舌色分类模型和苔色分类模型。

小伍健康科技(上海)有限责任公司发明了一种基于神经网络的舌象体质辨别方法及设备(公开号CN 109199334 A)。该方法通过深度神经网络算法训练出1个舌象图片识别模型、5个舌象特征提取模型和1个舌象体质模型。对测试集进行预测时，首先通过舌象图片识别模型判断是否为舌图片，若是舌图片则利用5种舌象特征提取模型分别提取舌质颜色、舌像形态、有无舌苔、舌苔厚度、舌苔颜色五种特征。将提取的5种特征输入舌象体质模型得到用户对应体质。

以上基于人工智能对舌象的分析方法中，均只是针对舌象的某一个特征，例如舌形，舌色，苔色等构建了单一的分析模型，虽然在公开号CN 109199334 A中，同时考虑了舌象的五种特征，但是该专利针对五种特征仍是构建了五种不同的识别模型。而在实际应用中，中医师通常会对舌象的多个特征同时进行判断分析，所以智能化地对舌象的多个特征同时进行分析是很有必要的。