[发明专利]图结构表征的高阶关联发现细粒度图像识别方法及装置

说明书

本发明实施例提供一种图结构表征的高阶关联发现细粒度图像识别方法及装置，其中方法包括：将待分类图像输入具有多个阶段的卷积神经网络特征提取器，提取最后一个阶段的两层网络特征图，根据网络特征图，构建混合高阶注意力模块，并根据混合高阶注意力模块形成高阶特征向量池，将向量池中的每一个向量作为节点，并利用高阶特征间的语义相似性，分组形成代表性向量节点，对代表性向量节点进行全局池化，得到分类向量，并基于分类向量，通过全连接层和分类器得到细粒度分类结果，无需依赖额外的部件特征提取网络，实现对图像特征的快速准确提取，利用图像自身信息构建图像特征间的关联关系，得到细粒度特征的精细表征，提高图像的识别效果。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图结构表征的高阶关联发现细粒度图像识别方法及装置。

背景技术

图像细粒度识别是根据大量细粒度分类类别和算法识别将输入的图像进行归纳分类的一种技术。该技术可广泛应用于互联网分析、人脸验证、行人识别以及智慧城市等各个领域中。

目前，大多数的图像细粒度识别都是倾向于利用区域特征，或部件级表征，来增强图像的识别效果。但这类方法需要依赖额外的部件特征提取网络，而部件提取到的特征容易存在不稳定表征，影响图像识别效果。

发明内容

本发明实施例提供一种图结构表征的高阶关联发现细粒度图像识别方法及装置，无需依赖额外的部件特征提取网络，通过单阶段的网络表征，实现对图像特征的快速准确提取，提高图像识别效果。

第一方面，本发明实施例提供一种图结构表征的高阶关联发现细粒度图像识别方法，所述方法包括：

将待分类图像输入具有多个阶段的卷积神经网络特征提取器，提取最后一个阶段的两层网络特征图X_i与Y_i；

根据所述网络特征图X_i与Y_i，构建空间门控网络增强的混合高阶注意力模块，并根据所述混合高阶注意力模块形成高阶特征向量池；

将所述高阶特征向量池中的每一个向量作为节点，构建图神经网络，并利用高阶特征间的语义相似性，分组形成代表性向量节点；

对所述代表性向量节点进行全局池化，得到分类向量，并基于所述分类向量，通过全连接层和分类器得到细粒度分类结果。

可选的，根据所述网络特征图X_i与Y_i，构建空间门控网络增强的混合高阶注意力模块，并根据所述混合高阶注意力模块形成高阶特征向量池，包括：

根据所述网络特征图X_i与Y_i，构建所述混合高阶注意力模块对应的注意力感知矩阵P_i；

将根据所述注意力感知矩阵P_i和所述网络特征图X_i得到的空间感知高阶矩阵门控网络和所述网络特征图X_i进行融合，得到位置关联矩阵E_i；

将所述位置关联矩阵E_i转置后与编码后的网络特征图Y_i融合，形成所述高阶特征向量池。

可选的，根据所述网络特征图X_i与Y_i，构建所述混合高阶注意力模块对应的注意力感知矩阵P_i，包括：

对网络特征图Y_i进行编码；

根据所述网络特征图X_i的转置和编码后的网络特征图Y_i，确定所述混合高阶注意力模块中各位置的注意力感知矩阵P_i：