[发明专利]基于空间对称化不规则局部区域特征提取的细粒度图像分类方法

说明书

本发明公开了一种基于空间对称化不规则局部区域特征提取的细粒度图像分类方法，包括：将图像输入到深度卷积网络中得到特征图；将特征图输入到对称化局部区域提取模块中进行局部区域特征提取；利用注意力机制捕获特征之间的上下文关系；利用双向循环神经网络将空间结构信息与特征信息进行融合；以聚类的方式将所有特征用若干个聚类中心进行表示，联合所有聚类中心进行分类，得到目标类别。该方法克服了局部特征提取时，特征之间的空间信息丢失问题，同时提出的不规则区域特征提取模板能够有效的对目标的不规则的关键性的局部区域特征进行提取，最大程度上保留局部信息完整性和减少无关信息，能够提高细粒度图像分类的精度。

技术领域

本发明涉及图像处理技术领域，特别是一种基于空间对称化不规则局部区域特征提取的细粒度图像分类方法。

背景技术

细粒度图像分类是图像分类的一个重要发展，相比于通用图像分类更加具有实际的应用价值，例如用于智能零售、智能交通和生物多样性监测等，同时也更加具有挑战性。通用图像分类是区分不同类别的物体，这些物体具有较大的差异，从样貌、形状、颜色等特征就能进行区分，所以该模型更加注重全局特征。而细粒度图像分类则是在通用分类的基础上，进一步进行类别的细分，由于任务是区分同种类物体的不同子类，更加细微的局部特征。与通用图像分类相比，难点在于：细粒度图像具有较小的类间差异和较大的类内差异。

近些年很多关于细粒度图像分类的方法大多是基于定位的方法，利用额外的标注信息，先训练模型对物体关键性部位的识别能力，然后将这些关键性区域进行特征提取，再根据这些关键性区域的特征进行细分类。在实际应用中，这些额外的标签往往是需要专家花费大量的时间去标记，代价是昂贵的。而不使用额外的标记框会使得模型寻找区分性部位变得困难，同时找到的局部特征也未必是有用的，这样导致了分类难度的加大。另一方面由于大多是矩形候选框提取的局部信息往往是不完整的或者还是含有大量的背景信息，这样提取的区分性部位用于分类是不精确的。

发明内容

本发明的目的在于提供一种基于空间对称化不规则局部区域特征提取的细粒度图像分类方法。

本发明的目的可以通过采用如下技术方案达到：

一种基于空间对称化不规则局部区域特征提取的细粒度图像分类方法，包括以下步骤：

将图像输入到深度卷积网络中得到该图的特征图；

将该特征图输入到对称化局部区域提取模块中进行局部区域特征提取，该模块通过使用不规则区域特征提取模板进行特征提取，从而得到一个局部特征集合；

利用注意力机制捕获特征之间的上下文关系，突出重要的局部特征，抑制其他局部特征；

利用双向循环网络将空间结构信息与特征信息进行融合，从而得到语义信息更丰富的特征集合；

以聚类的方式将所有特征用聚类中心进行表示，从而去除冗余的信息，联合所有聚类中心进行分类，得到目标的类别。

一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的基于空间对称化不规则局部区域特征提取的细粒度图像分类方法。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的基于空间对称化不规则局部区域特征提取的细粒度图像分类方法。

本发明与现有的技术相比，其显著优点在于：(1)通过空间对称化局部区域特征提取，能够在局部特征提取的同时最大程度上保留这些局部特征之间的空间逻辑观关系，后续使用双向循环神经网络将空间信息和特征信息进行融合；(2)利用对规则的矩形候选框，对其进行几何变换得到等面积的不规则的候选框尽可能地模拟那些不规则的局部区域的形状，使得对目标局部特征提取的时有用信息尽量完整，同时使得背景信息尽可能少；(3)对于提取的特征集合采用聚类方式用若干个聚类中心表示所有特征，有效去除冗余特征，得到更好的图像表示。