[发明专利]一种基于图神经网络和深度哈希的细粒度鸟类图像检索方法

权利要求书

1.一种基于图神经网络和深度哈希的细粒度鸟类图像检索方法，其特征在于，包括以下步骤：

步骤1、将图像送入到骨干网络Resnet50得到其特征F∈R^H×W×N，其中H，W和N分别表示特征的高，宽和通道数；将得到的特征图转化为注意力图，再通过不同局部区域的注意力图提取出具有判别性的局部特征；

步骤2、针对步骤1中生成的的注意力图生成注意力丢弃后的图像；

步骤3、通过步骤2中提取的部件特征构建图来挖掘部件之间的关系，并得到融合特征；

步骤4、通过步骤3中得到的融合特征，经过哈希层得到哈希编码；

步骤5、对于上述步骤中的特征提取和哈希编码，构建损失函数，使网络逐步收敛。

2.根据权利要求1所述的基于图神经网络和深度哈希的细粒度鸟类图像检索方法，其特征在于，步骤1中采用卷积函数f()将特征图转化为注意力图，注意力图的计算方法如公式(1)所示：

3.根据权利要求1或2所述的基于图神经网络和深度哈希的细粒度鸟类图像检索方法，其特征在于，步骤1中针对每幅图像生成M个注意力图，A_k∈R^H×W表示为第k个细粒度部件所对应的注意力图；

局部区域的M部分特征通过公式(2)计算：

f_k＝g(A_k⊙F),k＝1,2,…,M(2)

其中f_k代表第k个局部特征，⊙代表特征图F和第k个注意力图的元素相乘，而g()是全局平均池化操作。

4.根据权利要求1所述的基于图神经网络和深度哈希的细粒度鸟类图像检索方法，其特征在于，步骤2具体包括以下步骤：

步骤2.1：随机注意力图选择

对于学习到的M个空间注意力图，进行随机丢弃策略，从M个注意力图中随机选择一张注意力图A_k，以迫使网络搜索其他信息丰富的局部区域；

步骤2.2：归一化所选择的注意力图

对于每一幅训练图像，首先从A中随机选择一个注意力图A_k，为了提高模型的收敛率，采用最小-最大归一化，将A_k的值平滑到[0,1]的范围，如公式(3)所示：

A_k^*表示增强后的第k个注意图；

步骤2.3：构建丢弃掩膜

通过设定一个丢弃阈值T_d，将大于T_d∈[0,1]的元素的值设置为0，将其他元素的值设置为1，构建一个丢弃掩码M_d，如公式(4)所示：

其中A_k^*(i,j)代表第i行和第j列中属于第k个局部特征的元素值，M_d(i,j)代表相应位置上的丢弃掩码的值，阈值T_d被设定为0.5；

步骤2.4：得到注意力丢弃图像与相应的特征

新的注意力丢弃图像X_d通过丢弃掩码M_d和原始图像之间相乘得到，并再次被送入网络并学习M个新的部分特征通过这组方式，鼓励注意力图提出其他判别性的部件，最终提高定位的准确性和特征的质量。