[发明专利]一种基于深度学习的多特征融合车辆重识别方法

说明书

本发明公开了一种基于深度学习的多特征融合车辆重识别方法，包括五部分内容，分别是训练模型、车牌识别、车辆识别、相似性度量以及可视化。首先，本发明利用大规模车辆数据集进行模型训练，训练采用多损失函数分阶段联合训练策略。然后，对每一张车辆图像进行车牌识别，并根据车牌识别情况生成车牌标识特征向量。同时，利用训练得到的模型提取待分析图像以及查询库内图像的车辆表述性特征与车辆属性特征，并将车辆表述性特征与车牌标识向量融合每张车辆图像的唯一重识别特征向量。在相似性度量阶段，将待分析图像与查询库内图像的重识别特征向量进行相似性度量，锁定符合要求的检索结果，并将其可视化。

技术领域

本发明属于计算机视觉技术领域，更具体的讲，涉及一种基于深度学习的多特征融合车辆重识别方法，是一种基于深度学习特征提取框架且融合了车牌标识特征、车辆全局特征、车辆兴趣区局部特征和车辆属性特征的高精度车辆识别方法。本发明既可以处理无车牌信息车辆图像，亦能提供任意车辆的多种属性信息。

背景技术

视觉跟踪与目标检测是计算机视觉领域内较早开始的研究方向。经过几十年的积累，这两个方向已经取得显著的发展。而关于车辆重识别的相关研究则起步较晚，国内外研究文献也相对较少。所谓车辆重识别技术是指在不同摄像头拍摄下的视频或图像中的车辆进行处理，判断是否为同一车辆对象。因为摄像头的角度、光照、尺寸和清晰度的问题，车辆距离以及行驶角度问题，拍摄环境等无法避免的因素存在，对于车辆重识别技术的发展存在很大的影响。根据目前已有研究方法的研究思路大致可以分为四类，具体如下：

(1)基于纹理特征(BOW-SIFT)：车辆重识别技术基于纹理特征进行提取，其中SIFT描述符被提取为车辆的局部纹理特征，BOW模型因为其在NDIR中的准确性和有效性而用于量化特征。

(2)基于颜色功能(BOW-CN)：基于颜色功能的重识别技术是一个基准测试方法，它将BOW应用于颜色名称Color Name(CN)功能，能够对户外环境的识别具有有效性和鲁棒性。

(3)利用深层神经网络提取语义特征：目前用于车辆重识别的深度学习框架有AlexNet、GoogLeNet等。深度学习对整个和部分车辆的图像进行训练，以检测车辆的详细属性，例如门的数量，灯的形状，座位数量和车辆类型。可以使用从模型中提取的特征作为语义特征，捕捉到车辆的高级语义信息。

(4)多功能融合：利用多个特征的融合，即颜色，纹理和语义特征的不同组合进行提取和融合。比如AlexNet神经网络和BOW-CN基于颜色功能的融合，或者提出FACT(Fusionof Attributes and Color feaTures)模型使用后融合的方案，用BOW-SIFT，BOW-CN和GoogLeNet分别学习的语义特征获得所有测试图像的匹配程度。

分析上述四种方法，多功能融合类别的方法在准确性及迁移性上普遍领先。因此受到融合思路的启发，本发明设计了车牌标识向量、车辆表述性特征向量以及车型属性特征向量三者融合的车辆重识别方法，不仅可以判定套牌等违规情况，还能获得车辆颜色、品牌、类型等诸多属性信息，同时还可以有效提高监控视频内车辆重识别的准确度。

发明内容

本发明的目的：随着计算机技术及信息科技的发展，城市交通监控系统逐渐普及，监控对象如人、车辆、道路、建筑等目标的研究也吸引了很多目光。为克服现有技术的不足，本发明提供的一种基于深度学习的多特征融合车辆重识别方法，既能够处理存在车牌信息的情况也能处理车牌信息无法获取的情况。同时本发明针对车牌信息和车辆信息的一致性能判定套牌等违章情况，从而实现替代人力进行车辆重识别的操作。不仅如此，本发明还可以为道路监控分析系统提供基础输入。

本发明采用的技术方案为：一种基于深度学习的多特征融合车辆重识别方法，该方法包括训练模型、车牌识别、车辆识别、相似性度量以及可视化五个部分：

步骤(m1)训练模型—利用大规模车辆数据集、本发明提出的深度学习框架和训练策略完成特征提取模型分阶段的训练；