[发明专利]一种融合注意力机制的深度哈希车辆图像检索方法

权利要求书

1.一种融合注意力机制的深度哈希车辆图像检索方法，其特征是：包括如下步骤：

(1)搭建基于Pytorch的深度学习车辆图像检索环境；

(2)数据预处理：对车辆图像数据集进行归一化，处理成网络模型需要的数据输入格式；

(3)车辆数据集划分：将车辆图像数据集按8:1:1的比例划分为训练集、验证集和检索测试集，从检索测试集中随机选取一批图片作为查询图片，其余图片作为图像数据库；

(4)模型构建：使用深度神经网络中的残差网络模型作为车辆图像检索模型，并在训练集上进行训练：

接收一个三元组的输入(u_i,u_j,m_ij)，在残差网络的第四阶段和第五阶段之间添加一个注意力机制模块，借助注意力机制来识别车辆图像中多个目标对象的近似位置，获得一个专注的特征表示，然后添加一个哈希层生成定长的二值编码；另外，将成对车辆图像标签向量的余弦距离作为监督信息参加模型训练；同时，引入成对相似性损失函数以维持车辆图像之间的相似性，并且引入量化损失函数来控制二值编码的质量；

(5)特征提取：使用训练好的模型对车辆图像进行特征提取；

(6)测试模型：把步骤(3)挑选出来的图片作为查询图片，使用训练好的模型提取该车辆图像的特征，使用汉明距离与特征数据库中的所有特征进行相似度度量，并按照相似度大小返回检索的结果；最后用ACG和NDCG评价指标对返回的结果进行评价。

2.根据权利要求1所述的融合注意力机制的深度哈希车辆图像检索方法，其特征是：步骤(4)所述注意力机制模块分为主干分支和掩膜分支两个分支，其中：

主干分支执行特征提取，给定输入x，主干分支输出T(x)；

掩膜分支执行特征选择，使用自上而下和自下而上的结构学习相同大小的掩膜M(x)，输出的掩膜分支作为主干输出的控制门，注意力模块H(x)的输出为公式(1)：

H_i,c(x)＝M_i,c(x)*T_i,c(x) (1)

其中i覆盖到空间中所有位置，c是通道的索引，整个结构可以进行端到端的训练；在注意力掩膜分支中，输入特征的掩膜梯度为公式(2)：

其中θ为掩膜分支的参数，φ为主干分支参数，掩膜分支的取值范围为[0,1]，利用残差学习思想，公式(1)注意力模块的输出可以改写成(3)：

H_i,c(x)＝(1+M_i,c(x))*F_i,c(x) (3)

当注意力掩膜分支M(x)的取值接近为0时，H(x)将近似于原始特征F(x)；将注意力机制与残差网络相结合，提出注意力残差模块，在注意力残差模块中，F_i,c(x)表示深度卷积网络生成的特征，在注意力残差模块中，存在着三个超参数p,t,r，超参数p表示在分裂成主干分支和掩膜分支之前预处理残差单元的数量；t表示主干分支残差单元的数量；r表示掩膜分支中相邻池化层之间的残差单元数量。

3.根据权利要求2所述的融合注意力机制的深度哈希车辆图像检索方法，其特征是：所述注意力掩膜分支残差单元通道数与对应主干分支的通道数相同。

4.根据权利要求1所述的融合注意力机制的深度哈希车辆图像检索方法，其特征是：步骤(5)所述的特征提取包括两个面：一个是对用户上传的查询图片进行特征提取，另一个是对车辆图片数据库进行特征提取构建车辆图像特征数据库。

5.根据权利要求1所述的融合注意力机制的深度哈希车辆图像检索方法，其特征是：步骤(6)所述选取两种评价指标对实验结果进行评价，分别为平均累加增益(ACG)和归一化折扣累加增益(NDCG)；ACG(平均累加增益)表示查询图像和前n个检索到的图像之间共享标签的平均数量，给定查询图像I_q，前n个返回图像的ACG得分由公式(5)来计算，其中C(q,i)为I_q和I_i共享标签的数量：

NDCG(归一化折扣累加增益)是一种用来衡量车辆图像检索任务排序结果质量的评价指标；给定一个查询图像，在返回结果的图像列表中某一特定位置k处累加的DCG得分计算公式定义为：

其中，rel_i为相似度级别，通过两幅图像之间共有的标签数量来衡量，最大值为查询图像与数据库中图像的最大的相同标签数，最小值为0；NDCG在k处的计算得分如公式(7)所示，其中Z_k为DCG理想情况下的最大值，所以NDCG的取值范围为[0,1]：