[发明专利]一种细粒度图像分类的方法及系统

权利要求书

1.一种细粒度图像分类的方法，包括如下步骤：

步骤S1，对输入图片进行特征提取，获得特征图。

步骤S2，统计数据集中类别标签和属性的关联性来构建知识图谱；

步骤S3，利用GGNN网络对所构建的知识图谱进行特征表达，迭代地更新知识图谱得到知识图谱的特征表示；

步骤S4，将步骤S1提取到的特征图与步骤S3通过GGNN网络得到的高级知识进行融合，通过高级知识和特征图结合来引导网络分类；

所述GGNN网络结构通过迭代更新节点特征来学习任意图结构数据的特征，然后构成一个知识图谱，包括类别标签和属性的节点，以及节点间的相关性；

步骤S3进一步包括：

步骤S300，对给定图像进行分类；

步骤S301，定义GGNN网络结构，并用分类结果初始化类别节点特征和初始化属性节点特征，再将其输入GGNN网络，并迭代地更新每个节点的信息；

步骤S4进一步包括

步骤S400，将步骤S3利用GGNN网络结构知识表达学习到的特征与步骤S1利用深度卷积神经网络提取的特征进行结合；

步骤S401，定义分类器及分类过程的损失函数；

步骤S402，输入图片训练样本，安装前向算法，后向算法和定义的损失函数进行分类网络的参数学习；

于步骤S4中，引入了一引导机制将卷积神经网络提取到的特征图与GGNN得到的高级知识进行融合；

于步骤S4中，引入所述引导机制来助高级知识嵌入特征图的过程如下：

其中表示在(i，j)点的特征向量，f^g表示知识图谱特征，为一个引导机制，来引导出特征图中哪些位置更重要，g是一个将和f^g相结合的网络，并输出一个c维度的实际值向量，然后得到的f可以一个全连接网络的输入来计算该输入图片的分类值。

2.如权利要求1所述的一种细粒度图像分类的方法，其特征在于：于步骤S1中，利用深度卷积神经网络对输入的图片进行特征提取，并将提取的特征再输入到双线性模型中得到特征图谱。

3.如权利要求1所述的一种细粒度图像分类的方法，其特征在于：于步骤S2中，将数据集中同类物体中对应属性的特征值相加，并进行归一化，得到一个C×A维度的矩阵S，根据矩阵S构建邻接矩阵，进而利用所述邻接矩阵构建所述知识图谱。

4.如权利要求1所述的一种细粒度图像分类的方法，其特征在于，于步骤S301中，输入的是一个图其中V表示节点的集合，A表示节点之间关系的邻接矩阵，对于每个节点v∈V，在迭代次数t都有一个隐藏信息当t＝0时，其中x_v为初始的特征向量，迭代过程如下：

其中，W^Z，W^r，W，U^z，U^r，U，b指可学习的参数，r_v^t为中间计算结果，A_v表示节点v和其相邻节点关系的A的子矩阵，σ和tanh分别为激活函数logistic sigmoid和双曲正切函数，⊙表示向量点乘，

整个过程一共迭代T次，最终得到隐藏信息的集合