[发明专利]一种融合注意力机制的深度哈希车辆图像检索方法

说明书

本发明公开了一种融合注意力机制的深度哈希车辆图像检索方法，目的是为了提高车辆图像检索的准确率。由于数据量的增大和特征维数的增高所带来庞大计算量及获取特征向量中包含较多的干扰因素导致精确度低的问题。本发明针对该问题，引入注意力机制，提出了融合注意力机制的残差网络深度哈希模型，该模型借助注意力机制来识别车辆图像中多个目标对象的近似位置，以获得一个更为专注的特征表示。同时，本发明引入类别交叉熵损失函数来解决融入注意力机制的模型学习。

技术领域

本发明涉及车辆图像检索领域，具体是一种融合注意力机制的深度哈希车辆图像检索方法。

背景技术

在车辆图像检索方法中，一般首先将车辆图像映射为特征向量，然后将特征向量编码为二值检索码。然而，获取的特征向量包含图像的全局信息，其中包括目标信息和杂乱的背景信息。在基于深度哈希方法的车辆图像检索研究中，研究人员往往希望哈希码编码的主要对象为车辆图像的目标信息而不是背景信息。同时，由于数据量的增大和特征维数的增高，所带来庞大计算量及获取特征向量中还包含较多的干扰因素导致精确度低的问题。

发明内容

为了提高车辆图像检索的准确率，本发明提出了一种融合注意力机制的深度哈希车辆图像检索方法，该方法借助注意力机制来识别车辆图像中目标对象的近似位置，获取一个专注的特征表示，进一步提高车辆图像检索的精度。

实现本发明目的的技术方案是：

一种融合注意力机制的深度哈希车辆图像检索方法，包括如下步骤：

(1)搭建基于Pytorch的深度学习车辆图像检索环境；

(2)数据预处理：对车辆图像数据集进行归一化，处理成网络模型需要的数据输入格式；

(3)车辆数据集划分：将车辆图像数据集按8:1:1的比例划分为训练集、验证集和检索测试集，从检索测试集中随机选取一批图片作为查询图片，其余图片作为图像数据库；

(4)模型构建：使用深度神经网络中的残差网络模型作为车辆图像检索模型，并在训练集上进行训练：

接收一个三元组的输入(u_i,u_j,m_ij)，在残差网络的第四阶段和第五阶段之间添加一个注意力机制模块，借助注意力机制来识别车辆图像中多个目标对象的近似位置，获得一个专注的特征表示，然后添加一个哈希层生成定长的二值编码；另外，将成对车辆图像标签向量的余弦距离作为监督信息参加模型训练；同时，引入成对相似性损失函数以维持车辆图像之间的相似性，并且引入量化损失函数来控制二值编码的质量；

(5)特征提取：使用训练好的模型对车辆图像进行特征提取；

(6)测试模型：把步骤(3)挑选出来的图片作为查询图片，使用训练好的模型提取该车辆图像的特征，使用汉明距离与特征数据库中的所有特征进行相似度度量，并按照相似度大小返回检索的结果；最后用ACG和NDCG评价指标对返回的结果进行评价。

步骤(4)所述注意力机制模块分为主干分支和掩膜分支两个分支，其中，主干分支执行特征提取，给定输入x，主干分支输出T(x)；掩膜分支执行特征选择，使用自上而下和自下而上的结构学习相同大小的掩膜M(x)，这种结构模仿了快速前馈和反馈注意力过程，输出的掩膜分支作为主干输出的控制门，注意力模块H(x)的输出为公式(1)：

H_i,c(x)＝M_i,c(x)*T_i,c(x) (1)

其中i覆盖到空间中所有位置，c是通道的索引，整个结构可以进行端到端的训练。在注意力机制模块中，注意力掩膜分支不仅可在前向传播阶段做特征选择器，还可以在反向传播阶段用作梯度更新滤波器。在注意力掩膜分支中，输入特征的掩膜梯度为公式(2)：