[发明专利]一种基于多注意力神经网络的细粒度图像识别方法及系统

说明书

本发明提出一种基于多注意力神经网络的细粒度图像识别方法及系统，包括：从全尺寸图像中获取对应不同局部特征位置的多个零件掩膜图像；调整所述零件掩膜图像中对应零件边框尺寸，基于调整后的所述零件掩膜图像从所述全尺寸图像中获取零件图像；对所述零件图像对应的零件特征经过分类和加权处理，获取所述全尺寸图像的识别结果；本发明可有效提高细粒度特征的识别准确性。

技术领域

本发明涉及领域，尤其涉及一种基于多注意力神经网络的细粒度图像识别方法及系统。

背景技术

目前图像识别领域主要有传统方法和深度学习方法，传统方法主要通过依赖人工注释边框、部分注释来实现定位和识别从属类别。现有技术的缺点：1.人类的大量参与使得零件定义和注释变得昂贵和主观，这显然不是所有细粒度图像识别任务的最优选择。2.利用注意力机制来生成没有零件标签/注释的attention masks，并从attention masks中提取相应的图像部分。3.使用固定大小的矩形裁剪图像以提取关注部分，而不管要识别的对象的大小如何，为后续特征表达造成坏的影响。

发明内容

鉴于以上现有技术存在的问题，本发明提出一种基于多注意力神经网络的细粒度图像识别方法及系统，主要解决现有方法人工参与成本高且识别准确性不足的问题。

为了实现上述目的及其他目的，本发明采用的技术方案如下。

一种基于多注意力神经网络的细粒度图像识别方法，包括：

从全尺寸图像中获取对应不同局部特征位置的多个零件掩膜图像；

调整所述零件掩膜图像中对应零件边框尺寸，基于调整后的所述零件掩膜图像从所述全尺寸图像中获取零件图像；

对所述零件图像对应的零件特征经过分类和加权处理，获取所述全尺寸图像的识别结果。

可选地，从全尺寸图像中获取对应不同局部特征位置的多个零件掩膜图像，包括：

获取所述全尺寸图像对应的特征图，并将所述特征图输入多个信道，基于特征的位置向量进行聚类，得到所述零件掩膜图像。

可选地，构建剪裁模块，通过所述剪裁模块调整所述零件掩膜图像中对应零件边框尺寸。

可选地，所述剪裁模块包括全连接层，将所述零件掩膜图像输入所述全连接层，根据设置的尺寸调整所述零件边框尺寸。

可选地，所述尺寸调整方式表示为：

w_a＝w_f+d_w

h_a＝h_f+d_h

其中，w_f和h_f为所述零件腌膜图像中零件区域的尺寸；w_a和h_a分别为设置的边框宽度和高度；d_w和d_h分别对应宽度和高度的偏移量，作为为所述全连接层的输出。

可选地，对所述零件图像对应的零件特征经过分类和加权处理，包括：

通过卷积层提取所述零件图像的零件特征向量，并将所述零件特征向量输入多个全连接层，通过与所述全连接层连接的分类器的分类输出概率设置所述零件特征向量的权重。

可选地，构建融合损失函数，根据所述融合损失函数经过迭代学习更新网络参数。

可选地，所述融合损失函数表示为：

L_f＝L_sort(ω_a,ω_b)+L_fcls(Y,Y^*)