[发明专利]一种基于图卷积网络的舌象多标签分类方法

权利要求书

1.一种基于图卷积网络的舌象多标签分类方法，其特征在于，包括如下步骤：

S1、对原始图像进行舌体检测，抽取得到舌体图像；

S2、对步骤S1中抽取的舌体图像进行图像预处理，所述预处理包括去反光点处理、锐化处理和摆正处理；

S3、针对各个标签，对预处理后的舌体图像进行半自动化标注，得到大样本多标签数据集；具体过程如下：

S3.1、针对每个标签提取小样本舌体图像，医学专业人员对舌体图像的各个标签进行单独标注，标注方式为图像级别的弱监督标注，且保证各个标签的各类小样本数量是均衡的；

S3.2、根据各个标签的特征在舌体表面的分布情况以及标签内的子类数目，采用步骤S3.1得到的经弱监督标注后小样本进行训练得到各标签的均衡小样本模型；具体为，当标签的特征分散在舌体表面的各个部位且标签内的子类数目等于1，则训练该标签的检测小样本模型，当标签的特征集中在舌体表面的某个部位且标签内的子类数目等于2，则训练该标签的二分类小样本模型，当标签的特征集中在舌体表面的某个部位且标签内的子类数目大于2，则训练该标签的多分类小样本模型；

S3.3、训练出各标签的小样本模型后，对各个标签的剩余样本进行推断，并在各个标签于舌体表面集中分布的区域添加标注框信息，使得将原先的弱监督标注转为强监督标注；

S3.4、将所关注舌体区域是一样的标签合并为一个标签，得到大样本多标签数据集；

S3.5、再让医学专业人员进行复核，包括调整边框位置，添加未检测出的标签，或新增其他标签，得到最终的大样本多标签数据集；

S4、使用图卷积网络对步骤S3中得到的大样本多标签数据集进行训练和推断，得到基于图卷积网络的舌体多标签分类模型。

2.根据权利要求1所述的方法，其特征在于，步骤S1的具体过程如下：

S1.1、数据准备

S1.1.1、CenterNet的输入数据X为原始图像，先对原始图像进行随机缩放和平移的仿射变换，并设定变换后的图像大小为512×512，然后缩放像素到[0,1]之间，最后做归一化处理；

S1.1.2、CenterNet的输入数据Y包括舌体中心点热力图Y_hm、舌体中心点误差下限Y_reg以及舌体边界框的宽和高Y_wh；在生成输入数据Y时，首先对边界框的坐标进行与输入数据X同样的缩放和平移的仿射变换，并设定变换后的图像大小为128×128；然后根据变换后的舌体边界框的坐标(x_min,y_min,x_max,y_max)，计算舌体边界框的宽w、高h和中心点坐标误差下限reg：

h＝y_max-y_min

w＝x_max-x_min

最后根据二维高斯核函数构建舌体中心点热力图H_x,y(P)：

其中，

上式中，x_min是舌体边界框左上角的横坐标，y_min是舌体边界框左上角的纵坐标，x_max是舌体边界框右下角的横坐标，y_max是舌体边界框右下角的纵坐标，w是舌体边界框的宽，h是舌体边界框的高，reg是舌体中心点坐标误差下限，H_x,y(P)∈[0,1]，r是高斯核半径，m∈[0.6,0.9]，p_x是舌体中心点横坐标，p_y是舌体中心点纵坐标；

S1.2、模型创建：

利用深层聚和网络创建四个层级的网络，第一个层级网络共有33个隐含层，各层输出计算如下：

第二个层级网络共有18个隐含层，各层输出计算如下：

第三个层级网络共有6个隐含层，各层输出计算如下：

第四个层级网络对前三个层级网络分别接全连接层，各层输出计算如下：

上式中，X是训练数据；W_i,j表示第i层隐含层和第j层隐含层之间的卷积参数；表示第i层隐含层和第j层隐含层之间的、并列第d个的卷积参数；表示第i层隐含层和第j层隐含层之间的转置卷积参数；表示第k层的输出；是中心点误差下限的预测值；是舌体中心点热力图预测值；是舌体边界框的宽和高的预测值；MP(·)表示最大池化函数；σ(·)表示ReLu函数；BN(·)是batch正则化函数；concat(·)表示将一个或多个输入进行融合的函数；f_DCN(·)是可变卷积函数。