[发明专利]一种基于图卷积网络的舌象多标签分类方法

说明书

本发明公开了一种基于图卷积网络的舌象多标签分类方法，包括如下步骤：S1、对原始图像进行舌体检测，抽取得到舌体图像；S2、对步骤S1中抽取的舌体图像进行图像预处理，所述预处理包括去反光点处理、锐化处理和摆正处理；S3、针对各个标签，对预处理后的舌体图像进行半自动化标注，得到大样本多标签数据集；S4、使用图卷积网络对步骤S3中得到的大样本多标签数据集进行训练和推断，得到基于图卷积网络的舌体多标签分类模型。本发明通过一个图卷积网络同时对舌象的多个标签进行分类诊断，充分学习标签之间的依赖关系，使得机器舌诊的过程变得更加高效准确。

技术领域

本发明涉及中医舌诊机器视觉的检测与分类技术领域，具体涉及一种基于图卷积网络的舌体检测、舌体预处理、舌体半自动化标注流程以及舌象多标签分类的新方法。

背景技术

中医诊断依据的四诊“望，闻，问，切”中，“望”乃首要。而“望舌观病”又是“望诊”的重要组成部分，因为人体的五脏六腑通过经络与舌头相连，人体的变化情况均可反映在舌象上。中医舌诊以肉眼观察，主观性较强。因此，定量化分析方法能够为更精准的舌诊提供依据。

舌诊本质上就是图像分类问题。随着近年来机器视觉领域软硬件的蓬勃发展，以及数据驱动型算法的研究发展，对舌象的分类精度越来越高。但多数研究中的舌象分类任务，被设定为单标签的多类(或二元)分类问题，而少数运用多标签学习的研究，其标签数量较少，且并未运用深度学习技术，因此效果一般。医学的分类问题，从实用性角度，应该是多输出分类的，而多标签分类即是多输出分类的一种。在多标签学习中大致有三种策略：(1)将多标签问题拆解成多个独立的二元分类问题：如果标签之间不存在依赖关系，该策略是比较高效的；(2)考虑成对的标签结构关系：比如任意两个标签之间的相关性；(3)同时考虑多个标签之间的复杂的拓扑关系。舌象的标签之间必定存在一定的依赖关系，因此通过挖掘标签间的依赖关系，对于多标签学习在舌象分类领域的实用性发展，具有非常重要的意义。

以往大多数针对舌象的分类研究，是对各个标签进行单独分类，忽略了标签之间的依赖关系，且结果输出了多个分类模型，也就意味着在推断时，需要加载多个模型，从而影响效率。少数采用多标签的研究要么没有采用深度学习的技术，要么没有充分挖掘标签之间的依赖关系，影响了准确度。

发明内容

针对现有技术的不足，本发明旨在提供一种基于图卷积网络的舌象多标签分类方法，通过一个图卷积网络同时对舌象的多个标签进行分类诊断，充分学习标签之间的依赖关系，使得机器舌诊的过程变得更加高效准确。

为了实现上述目的，本发明采用如下技术方案：

一种基于图卷积网络的舌象多标签分类方法，包括如下步骤：

S1、对原始图像进行舌体检测，抽取得到舌体图像；

S2、对步骤S1中抽取的舌体图像进行图像预处理，所述预处理包括去反光点处理、锐化处理和摆正处理；

S3、针对各个标签，对预处理后的舌体图像进行半自动化标注，得到得到大样本多标签数据集；

S4、使用图卷积网络对步骤S3中得到的大样本多标签数据集进行训练和推断，得到基于图卷积网络的舌体多标签分类模型。

进一步地，步骤S1的具体过程如下：

S1.1、数据准备

S1.1.1、CenterNet的输入数据X为原始图像，先对原始图像进行随机缩放和平移的仿射变换，并设定变换后的图像大小为512×512，然后缩放像素到[0,1]之间，最后做归一化处理；