[发明专利]基于图网络的多粒度特征学习的图像精细分类方法及系统

说明书

本发明属于计算机视觉和模式识别领域，具体涉及了一种基于图网络的多粒度特征学习的精细分类方法及系统，旨在解决现有技术对目标多粒度层级关系利用不足，从而图像精细分类准确率低的问题。本发明包括：基于获取的待分类图像构建多粒度层级关系图；通过多粒度层级特征提取网络提取多粒度类层级关系图中每一个粒度层级的特征；进行多粒度层级特征集中各粒度层级特征的层级关系嵌入；通过分类器获取各粒度层级的预测类别。本发明利用图神经网络学习图像的多粒度层次间的语义关系，以共同促进的方式改善各个粒度的特征学习，特征提取网络由一个主干网络和三个分支网络构成，在取得高精度的同时降低了模型参数量。

技术领域

本发明属于计算机视觉和模式识别领域，具体涉及了一种基于图网络的多粒度特征学习的精细分类方法及系统。

背景技术

精细分类不同于传统的分类任务，如区分车的类别，该任务需要对其子类进行区分，如车的年款。近年来，由于该任务具有极大的应用价值，在学术领域和工业领域得到了广泛地关注。物体天然存在着多粒度类别层级，较高的层级对应着含义广泛的类别，而较低的层级中的类别含义则比较精细，如图2所示，为以汽车分类为例的多粒度类别层级分类说明示意图，图中有三个粒度层级，第一个层级为品牌，第二个层级为品牌下面的多个类型，第三个层级为同一个车型下面的多个年款。多粒度层级中蕴含着丰富的语义信息，可以帮助多粒度特征注意更具有区分性的区域，改善精细分类效果。

目前大多数精细分类任务都关注于单一类别层级的分类问题，忽略了这种多粒度层级关系，也有少数利用到这种类别层级关系的方法，例如：基于注意力机制，利用较高层级的特征以及类别预测得分来引导较低层级的特征学习和预测结果的优化。但这种方法仅仅利用了较高层级的信息来促进较低层级特征的学习，忽视了较低层级的信息对高层级特征的促进，即没有充分利用粒度层级关系。

发明内容

为了解决现有技术中的上述问题，即现有技术对目标多粒度层级关系利用不足，从而图像精细分类准确率低的问题，本发明提供了一种基于图网络的多粒度特征学习的精细分类方法，该精细分类方法包括：

步骤S10，基于获取的待分类图像构建多粒度层级关系图；

步骤S20，通过训练好的多粒度层级特征提取网络提取所述多粒度类层级关系图中每一个粒度层级的特征，获得多粒度层级特征集；

步骤S30，进行所述多粒度层级特征集中各粒度层级特征的层级关系嵌入，获得多粒度层级关联状态特征集；

步骤S40，对于所述多粒度层级关联状态特征集中每一个粒度层级关联状态特征，通过分类器获取各粒度层级的预测类别；

其中，所述多粒度层级特征提取网络基于Lip-ResNet50构建，包括主干网络和各粒度层级的分支网络，以交叉熵函数作为所述多粒度层级特征提取网络训练的损失函数。

在一些优选的实施例中，步骤S10包括：

步骤S11，以代表待分类图像从高到低排列的 个粒度层级；

步骤S12，构建待分类图像的多粒度层级关系图：

其中， 是由 个粒度层级组成的点的集合， 表示粒度层级 的节点； 是 中任意两个粒度层级节点组成的边的集合， 表示粒度层级节点 和 之间的无向边。

在一些优选的实施例中，步骤S30包括：

步骤S31，以 代表待分类图像从高到低排列的 个粒度层级对应的特征；对于粒度层级节点 ，其初始状态特征 ；

步骤S32，在 时刻，从 的邻居节点 聚集信息 ； 为预先设定的多粒度特征学习周期；

步骤S33，基于 时刻 的聚集信息 以及 时刻 的状态特征 ，获取 时刻节点 的状态特征 ；