[发明专利]基于注意力机制和哈希的图像检索方法、装置及存储介质

权利要求书

1.一种基于注意力机制和哈希的图像检索方法，其特征在于，包括：

针对原始数据集中每一张图像，基于预先训练好的基于注意力机制的哈希特征提取模型得到每一张图像的离散哈希编码，进而建立与该原始数据集对应的图像特征库；

基于预先训练好的基于注意力机制的哈希特征提取模型得到待检测图像的离散哈希编码；

在图像特征库中查询与待检测图像的离散哈希编码汉明距离最近的数据，该数据在原始数据集中对应的图像即为检索结果；

其中，所述基于注意力机制的哈希特征提取模型为基于带有标签的数据集对注意力哈希网络模型训练得到，该注意力哈希网络模型包含依次连接的五个卷积-池化层、注意力模块、两个全连接层、哈希层；

所述基于注意力机制的哈希特征提取模型通过如下方法训练得到：

构建训练集：从已设置标签的原始数据集中选取Z幅带标签图像作为训练集其中样本x_i表示第i幅图像；

构建注意力哈希网络模型：该注意力哈希网络模型包含依次连接的五个卷积-池化层、注意力模块、两个全连接层、哈希层；

训练注意力哈希网络模型：

从训练集中挑选出用于训练的三元组图像对样本集合；

定义目标损失函数为：

其中，x^a为锚样本，x^p为正例样本，xⁿ为负例样本，N为三元组图像对样本数量，α和β均为超参数，f_i∈(-1，1)^k代表图像x_i的连续哈希编码，D(f_i，f_j)表示f_i与f_j的汉明距离，其中k为哈希编码的位数；

基于三元组图像对样本集合和目标损失函数，训练注意力哈希网络模型，得到基于注意力机制的哈希特征提取模型；

所述哈希层的神经元数等于目标哈希编码的位数k，其激活函数为：

其中，ρ为大于1的超参数。

2.根据权利要求1所述的基于注意力机制和哈希的图像检索方法，其特征在于，所述注意力模块为CBAM方法中的通道和空间注意力模块。

3.根据权利要求2所述的基于注意力机制和哈希的图像检索方法，其特征在于，所述通道和空间注意力模块的处理过程表示如下：

其中，表示数组元素对应相乘；F表示输入注意力模块的中间层特征图；一维通道注意力图M_c(F)通过如下过程得到：

通道注意力模块将输入的中间层特征图F分别经过最大池化和平均池化处理后，再将所得结果输入共享多层感知机，然后将得到的输出对应元素相加，最后经过sigmoid函数激活处理，得到最终的M_c(F)；

二维空间注意力图M_s(F¹)通过如下过程得到：

空间注意力模块将输入的中间特征F¹做基于channel的最大池化和平均池化，然后将所得两个结果进行拼接，再经过卷积操作进行降维，最后经过sigmoid函数激活处理，得到最终的M_s(F¹)；

最后基于F¹和M_s(F^l)得到的具有注意力能力的特征F²。

4.根据权利要求1所述的基于注意力机制和哈希的图像检索方法，其特征在于，所述训练注意力哈希网络模型过程中，采用小批量梯度下降法作为优化器，设置初始学习率为0.002，哈希层学习率是其他层学习率的10倍，α＝β＝0.3k，k为哈希编码的位数，训练batchsize为128，训练迭代总次数为1000次，每隔200次各层学习率减小一半，直至网络收敛或者达到迭代总次数停止，即得到最终的基于注意力机制的哈希特征提取模型。