[发明专利]图结构表征的高阶关联发现细粒度图像识别方法及装置

权利要求书

1.一种图结构表征的高阶关联发现细粒度图像识别方法，其特征在于，包括：

将待分类图像输入具有多个阶段的卷积神经网络特征提取器，提取最后一个阶段的两层网络特征图X_i与Y_i；

根据所述网络特征图X_i与Y_i，构建空间门控网络增强的混合高阶注意力模块，并根据所述混合高阶注意力模块形成高阶特征向量池；

将所述高阶特征向量池中的每一个向量作为节点，构建图神经网络，并利用高阶特征间的语义相似性，分组形成代表性向量节点；

对所述代表性向量节点进行全局池化，得到分类向量，并基于所述分类向量，通过全连接层和分类器得到细粒度分类结果。

2.根据权利要求1所述的方法，其特征在于，根据所述网络特征图X_i与Y_i，构建空间门控网络增强的混合高阶注意力模块，并根据所述混合高阶注意力模块形成高阶特征向量池，包括：

根据所述网络特征图X_i与Y_i，构建所述混合高阶注意力模块对应的注意力感知矩阵P_i；

将根据所述注意力感知矩阵P_i和所述网络特征图X_i得到的空间感知高阶矩阵门控网络和所述网络特征图X_i进行融合，得到位置关联矩阵E_i；

将所述位置关联矩阵E_i转置后与编码后的网络特征图Y_i融合，形成所述高阶特征向量池。

3.根据权利要求2所述的方法，其特征在于，根据所述网络特征图X_i与Y_i，构建所述混合高阶注意力模块对应的注意力感知矩阵P_i，包括：

对网络特征图Y_i进行编码；

根据所述网络特征图X_i的转置和编码后的网络特征图Y_i，确定所述混合高阶注意力模块中各位置的注意力感知矩阵P_i：

其中，W，H表示网络特征图的宽和高的维度，C表示网络特征图的维度，表示矩阵正规化方法，sign表示x的符号正负性，表示二范数正规化，表示生成向量的大小维度，表示转置符号。

4.根据权利要求2所述的方法，其特征在于，将根据所述注意力感知矩阵P_i和所述网络特征图X_i得到的空间感知高阶矩阵门控网络和所述网络特征图X_i进行融合，得到位置关联矩阵E_i，包括：

将所述注意力感知矩阵P_i与所述网络特征图X_i的转置进行矩阵乘法，得到所述空间感知高阶矩阵

根据所述空间感知高阶矩阵，构建所述位置关联矩阵E_i：

其中，门控网络为可学习权重的维度为的全连接层神经网络。

5.根据权利要求2所述的方法，其特征在于，将所述位置关联矩阵E_i转置后与编码后的网络特征图Y_i融合，形成所述高阶特征向量池，包括：

将所述位置关联矩阵E_i转置后与编码后的跨层矩阵Y_i作用后，并在WH维度取平均化，得到维度为的高阶特征向量池

其中，C_N表示元素个数，C表示每个向量的维度。

6.根据权利要求1所述的方法，其特征在于，将所述高阶特征向量池中的每一个向量作为节点，构建图神经网络，并利用高阶特征将的语义相似性，分组形成代表性向量节点，包括：

将所述高阶特征向量池中的每个向量作为一个节点，构建第一图神经网络，并根据语义相似性，构建邻接矩阵，提取图嵌入特征矩阵；

根据第二图神经网络，确定从高维节点到低维节点的分组映射规则；

根据所述分组映射规则以及所述图嵌入特征矩阵对节点进行分组，得到所述代表性向量节点。