[发明专利]一种基于深度学习的多特征融合车辆重识别方法

权利要求书

1.一种基于深度学习的多特征融合车辆重识别方法，其特征在于：该方法包括训练模型、车牌识别、车辆识别、相似性度量以及可视化五个部分：

步骤(m1)训练模型—利用大规模车辆数据集、深度学习框架和训练策略完成特征提取模型分阶段的训练；

步骤(m2)车牌识别—将车辆的车牌信息作为车辆识别的重要特征，步骤(m2)分为预处理、车牌判别、车牌内容识别三个部分，将车牌识别结果存为车牌标识向量；

步骤(m3)车辆识别—利用步骤(m1)中训练好的特征提取模型提取车辆识别的表述性特征向量和车辆属性特征；

步骤(m4)相似性度量—分别提取待分析图像与车辆查询库内图像的车牌标识向量、车辆识别表述性特征向量，对待分析图像与车辆查询库内图像进行相似性度量，得到车辆重识别结果；

步骤(m5)可视化—将步骤(m4)得到的重识别结果以符合人类视觉理解方式的形式进行可视化；

所述步骤(m1)包括如下步骤：

(m1.1)加载事先训练好的车辆分类网络模型(vehicle_caffemodel)，作为预训练模型；

(m1.2)预处理参与训练的车辆图像rI_i，截取每张图像兴趣区，作为局部特征提取的基础输入；

(m1.3)根据步骤(m1.2)提取的兴趣区域的位置信息，实现兴趣区池化，从而提取包含车内装饰、环保标识的局部特征；

(m1.4)根据深度学习提取框架主干网络，提取全局车辆特征；同时根据分支网络提取车辆属性特征；

(m1.5)分阶段的训练策略依托于多个损失函数，多分类损失函数分别有局部特征误差loss₁、全局特征误差loss₂以及车辆属性特征误差loss₃；第一阶段计算联合损失误差Union_Loss₁，完成全局与局部的训练；第二阶段联合训练全局误差、局部误差以及车辆属性特征误差，第一、第二阶段的联合损失误差计算公式详见：

其中，上述两个公式中的权重参数根据实验设定为λ₁＝0.2，λ₂＝0.8；α＝0.05，β＝0.8，γ＝0.15；

(m1.6)在满足迭代终止条件之前，每一个循环通过误差的反向传播更新网络模型参数，直至满足终止条件，得到最终的特征提取模型；

所述步骤(m2)包括如下步骤：

(m2.1)预处理阶段包括以下步骤：

(r1)首先对车辆图像进行高斯模糊处理，图像rI_i则转变为gI_i；

(r2)针对高斯处理后的图像gI_i，进行灰度化处理，然后经过Sobel算子提取边缘，图像gI_i则转变为sI_i；

(r3)获得边缘的图像进行二值化，腐蚀膨胀数学形态处理，并且提取轮廓，从而得到车牌判别的输入；

(m2.2)车牌判别阶段包括以下步骤：

(d1)预处理阶段提取到的矩形框均为候选车牌，对矩形框进行尺寸判别，不符合宽高比和常规面积大小的从候选车牌中删除；

(d2)对(d1)判别后剩余的候选车牌依靠矩形倾斜角进行角度判别，并结合(d1)的尺寸判别评分，得分最高者选定为当前车辆图像的车牌；

(m2.3)车牌内容识别阶段包括以下步骤：

(i1)对识别到的车牌进行灰度、二值化处理，从而分割出车牌内的所有字符C₇＝{c₁，c₂，……，c₇}；

(i2)使用训练好的字符识别BP神经网络对分割后的字符进行识别，并进行二进制编码，连接成车牌标识特征向量；没有车牌或者检测失败的则用特殊标识占位生成特殊的特征向量；生成特征向量的第一位表示车牌信息是否获取成功，1表示成功，0表示失败；提取车牌成功的图像车牌标识特征向量用U(c₁),U(c₂),……,U(c₇)表示，提取车牌失败的图像车牌标识特征向量均用0占位；

所述步骤(m3)包括如下步骤：

(m3.1)利用步骤(m1)训练提取到的特征提取模型提取全局特征、局部特征以及车辆属性特征；

(m3.2)将步骤(m3.1)提取的全局特征、局部特征与步骤(m2)提取的车牌标识特征向量融合为车辆重识别特征向量；

(m3.3)将步骤(m3.1)提取的车辆属性特征映射为对应的车型和品牌信息，用于后续相似性度量及步骤(m5)的可视化；

所述步骤(m4)包括如下步骤：

(m4.1)识别步骤(m2)提取到的车牌标识特征向量，是否包含车牌信息；

(m4.2)以图像对为相似性度量输入，当都存在车牌的时候，优先判别车牌是否匹配，不匹配则认为是不同车辆；如果车牌匹配，则匹配车辆特征映射的品牌、车型是否一致，不一致则判定为不同车辆，可以判定为同一车牌不同车辆的违规情况；如果车型判别也通过后，则计算车辆重识别特征向量之间的距离，距离小于预设阈值ε1认定为同一车辆，距离大于预设阈值ε1认定为不同车辆具有相同车牌，记为违规车辆；但凡认定为违规车辆的图像均存储信息并将其作为可视化警报的输入；

(m4.3)如果输入对中存在一张或者两张无车牌标识特征信息，则首先匹配车辆特征映射的车辆属性是否一致，如果不一致则认为是不同车辆；如果一致，则以车辆识别表述性特征相似度作为判定两辆车是否属于同一辆车的依据；当相似度小于预设阈值ε2，则进入待排序列表，并从中选择前N条符合社会条件、物理条件的图像作为最终检索结果；

所述的步骤(m5)包括如下步骤：

(m5.1)步骤(m4.2)提供警报信息的情况下，立即可视化相关车辆在当前查询库内的全部动态信息，并给出醒目警告提示；

(m5.2)全部相似性度量结束后，一次性可视化检索结果，并支持检索结果向数据库内延伸查询，并将查询结果可视化：待分析图片I_A的检索结果集合为图像集I_setA，I_setA可按相似度、时间先后的不同排序方式可视化，点击任何一张检索结果，则可进一步可视化该图像对应的车辆属性信息及其在数据库内存储的关联信息。