[发明专利]嵌入超图卷积层的深度学习冰晶粒子图像分类方法

权利要求书

1.一种嵌入超图卷积层的深度学习冰晶粒子图像分类方法，其特征在于包括如下步骤：

步骤1，搭建一个嵌入超图结构的卷积神经网络模型用于冰晶粒子图像的10分类任务；

步骤2，使用包含10个类别的冰晶粒子图像的训练样本数据集对所述嵌入超图结构的卷积神经网络模型进行训练；

步骤3，使用冰晶粒子图像的测试样本数据集对所述嵌入超图结构的卷积神经网络模型进行分类测试，并保存测试效果最好的网络模型；所述嵌入超图结构的卷积神经网络模型，其网络结构包含了卷积层和超图卷积层，并将一个超图卷积层嵌入在了ResNet152网络的第10个卷积层和第11个卷积层之间；

步骤4，使用步骤3所保存的网络模型对冰晶粒子图像进行自动分类；

超图卷积层中，进行超图卷积层输入的构建，包括：

1）从局部特征空间构建超边：在前一卷积层得到的特征图的基础上，选择中心像素点的八邻域中的像素点构成一条超边，以表示中心像素点周围的局部空间的特征关系；对位于边界上的中心像素点，则选择周围的三个或五个像素点来构成超边；

2）从全局特征空间构建超边：在前一卷积层得到的特征图的基础上，以除边界外的每个像素点为中心定义一个3×3大小的像素块，将像素块的3×3个像素值按从上到下、从左到右的顺序得到一个1*9的向量，并用该向量代表该像素块的中心像素点；计算两个1*9的向量的欧氏距离来代表两个中心像素点间的距离，由此得到每个像素点与其他像素点间的距离，然后选择每个像素点的3个全局最邻近像素点，从而构成超边，每条超边包含了含中心像素点在内的4个像素点；

3）由从局部和全局特征空间得到的超边构成最终的超图；

4）前一卷积层得到的特征图大小为X∈R^C*H*W，其中C为通道数，H为高度，W为宽度；

5）在完成超图的构建后，将X∈R^C*H*W改变维度为X∈R^N*C，其中N为超图中的顶点个数，N=W*H，并将改变维度后的顶点特征矩阵X∈R^N*C和构建的超图作为超图卷积层的输入。

2.如权利要求1所述的一种嵌入超图卷积层的深度学习冰晶粒子图像分类方法，其特征在于：所述步骤1中，所述嵌入超图结构的卷积神经网络模型，超图的定义如下公式所示：

其中是超图的有限顶点集，是超图的超边集，是超边的权重矩阵。

3.如权利要求1所述的一种嵌入超图卷积层的深度学习冰晶粒子图像分类方法，其特征在于：所述步骤1中，所述嵌入超图结构的卷积神经网络模型，其超图卷积层中，根据顶点和超边的关系，进行卷积操作来更新顶点的像素值，计算公式如下公式所示：

其中，表示非线性函数，表示超图中顶点的度矩阵，表示超图中超边的度矩阵，表示超边的权重矩阵，表示||×||维的点边关联矩阵，表示当前超图的顶点特征矩阵，为一个可学习的参数矩阵，为经过卷积运算后得到超图的顶点特征矩阵，X^(.)的大小为R^N*C，其中N为超图中的顶点个数， C为通道数。

4.如权利要求1所述的一种嵌入超图卷积层的深度学习冰晶粒子图像分类方法，其特征在于：所述步骤1中，所述嵌入超图结构的卷积神经网络模型，其超图卷积层中，每一个超图卷积层后都会跟着一个非线性激活函数Leaky ReLU和一个Dropout层防止过拟合，并设置Dropout层参数p为0.3。

5.如权利要求1所述的一种嵌入超图卷积层的深度学习冰晶粒子图像分类方法，其特征在于：所述步骤1中，所述嵌入超图结构的卷积神经网络模型，其超图卷积层中，在进行卷积操作、非线性函数激活、Dropout后将数据的维度X∈R^N*C转换回之前的维度大小X∈R^B*C*H*W，以适应后一卷积层的输入大小。

6.如权利要求1所述的一种嵌入超图卷积层的深度学习冰晶粒子图像分类方法，其特征在于：所述步骤1中，所述嵌入超图结构的卷积神经网络模型，其超图卷积层中，超图卷积层的输入通道数等于前一卷积层的输出通道数，超图卷积层的输出通道数等于后一卷积层的输入通道数。