[发明专利]基于注意力的图像识别方法、系统、电子设备及存储介质

说明书

本发明提供一种基于注意力的图像识别方法、系统、电子设备及存储介质，该方法通过训练得到的注意力双线性池化网络模型实现，所述注意力双线性池化网络模型包括并行设置的空间注意力模块和通道注意力模块，该方法利用通道注意力机制和空间注意力机制分别在图像的通道层面和空间层面进行判别性特征提取，然后利用分层双线性池化操作对提取到的通道特征和空间特征进行融合，将通道特征和空间特征关联起来作为局部特征，然后根据局部特征和主分支学习到的全局特征进行最终的图像识别，从而提高了图像识别的准确率。

技术领域

本发明涉及图像识别技术领域，尤其涉及一种基于注意力的图像识别方法、系统、电子设备及存储介质。

背景技术

细粒度图像识别属于图像识别的一个分支，细粒度图像识别的目的是识别同一大类别下的不同子类，相对于普通的图像识别它的特点在于：细粒度图像识别进行识别的粒度更为精细，比如细粒度图像识别往往是对一些不同种类的鸟进行识别，或者对不同种类的汽车等识别，需要精确的识别出它是哪种鸟或者哪款车等；而普通的图像识别一般是在不同物种之间进行识别，例如仅仅识别出猫和狗、而不需要识别出到底是什么种类的猫和狗。

细粒度图像识别的关键在于学习到图像的判别性特征，当前研究细粒度图像识别的方法大多是基于弱监督的局部定位、裁剪图像区域和多级训练的方法。这些方法虽然也可以达到很好的识别率，但是存在局部定位不准确和容易裁剪到一些背景区域等问题。

发明内容

有鉴于此，本发明的目的在于提出一种基于注意力的图像识别方法、系统、电子设备及存储介质。

基于上述目的，本发明提供了一种基于注意力的图像识别方法，其中，所述方法通过训练得到的注意力双线性池化网络模型实现，所述注意力双线性池化网络模型包括并行设置的空间注意力模块和通道注意力模块，所述方法包括：

获取待识别图像的全局特征；

基于所述通道注意力模块获取所述待识别图像的通道特征；

基于所述空间注意力模块获取所述待识别图像的空间特征；

通过双线性池化操作对所述通道特征和所述空间特征进行特征融合得到融合后的局部特征；

基于所述全局特征与所述局部特征对所述待识别图像进行识别；

其中，在训练所述注意力双线性池化网络模型时，采用交叉熵损失函数对所述融合后的局部特征进行预测，并采用交叉熵损失函数对所述注意力双线性池化网络模型的识别结果进行预测。

可选的，基于所述通道注意力模块获取待识别图像的通道特征，具体包括：

获取所述待识别图像的特征图并对所述特征图进行全局平局池化得到单位通道特征；

将所述单位通道特征输入第一全连接层后通过第一预设激活函数进行第一次激活；

将所述第一次激活后的结果输入第二全连接层后通过第二预设激活函数进行第二次激活得到通道注意力权值；

将所述通道注意力权值与所述特征图相乘得到所述通道特征。

可选的，基于所述空间注意力模块获取所述待识别图像的空间特征，具体包括：

获取所述待识别图像的特征图并对所述特征图分别进行全局平局池化和全局最大池化，并将两次池化结果沿着通道方向进行拼接；

将所述拼接后的结果进行卷积处理后通过第三预设激活函数得到空间注意力权值；

将所述空间注意力权值与所述特征图相乘得到所述空间特征。

可选的，获取待识别图像的全局特征之前，所述方法还包括：