[发明专利]一种融合视觉表观与时空约束的车辆再识别方法

说明书

本发明公开了一种融合视觉表观与时空约束的车辆再识别方法，该方法利用深度卷积神经网络，通过基于聚类的正样本特征中心选取方法设计了强化对群损失函数，实现了对车辆再识别网络的训练和车辆表观特征的提取；然后，利用由车辆图片拍摄时刻、位置等时空信息和表观相似度等组成的时空视觉融合特征实现对车辆综合相似度的准确度量；同时，引入车辆时空信息先验规则对时空视觉综合相似度进行修正，最终实现车辆的准确再识别。本发明所提出的融合视觉表观与时空约束的车辆再识别方法能有效提升车辆再识别精度，准确地从不同摄像头采集的车辆图像中找出同一车辆的图像。

技术领域

本发明涉及图像检索技术领域，更具体的说是涉及一种融合视觉表观与时空约束的车辆再识别方法。

背景技术

随着经济社会的发展，城市规模日益扩大，安全的公共生活成为了迫切需要。监控摄像头作为保障公共安全的重要辅助工具被大量地部署到城市各处，由此形成了一个庞大的监控网络。为了有效地防范行驶车辆危害公共安全的行为和制止违法行为，就需要监控网络能够及时地在不同摄像头中锁定同一辆有违法嫌疑的车辆。为此，人们提出了车辆再识别技术来解决在不同摄像头大量图像中确认同一辆车的问题。

目前借助车牌信息的车辆再识别技术，在车牌信息无法使用的情形，比如无牌、遮挡、高速运动及恶劣天气下车牌无法识别或是识别不准的情况，无法有效的在不同摄像头中确认同一辆车。如何不依赖车牌信息通过计算不同监控图像中车辆表观特征的相似程度和时间位置的相关程度，来判定不同摄像头中相同车辆的车辆再识别技术，成为当前一个重要的研究方向。

当前车辆再识别技术主要由两部分组成，一部分是仅利用表观信息的车辆外形相似度衡量方法，即基于表观信息的车辆再识别技术；另一部分是结合利用摄像头记录的时间位置信息的车辆时空关联度衡量方法。

基于表观信息的车辆再识别技术主要有两种方法，一是基于全局表观信息的车辆再识别方法，它的特点是提取到的表观特征包含了车辆全身所有部位的信息，更能反映不同图像中车辆的整体相似程度，但是无法有效解决车辆整体外形非常相似的不同车辆图像的在识别问题。二是基于局部表观信息的车辆再识别方法，它的特点是提取到的表观特征只包含了人工选取的某些车辆局部位置的信息，因为加入了人类知识的辅助使得提取到的表观特征更符合人类对车辆特性的认知。但是如果具备区分力的信息出现在人工选取局部区域之外，那么此种方法提取的表观特征也就失效。

基于表观信息和时空信息的车辆再识别技术主要有两种方法，一是基于统计分布的车辆再识别方法，它的特点是利用一个统一的统计分布来表示任一车辆在任意两个摄像头间出现的时间差服从的规律来校正基于表观信息的车辆再识别方法从而获得更优的再识别准确率。但是这种方法对于不满足一般规律的特殊车辆的再识别表现出明显不适用。二是基于车辆表观时空关系的跨时空车辆再识别方法，它的特点是利用Siamese-CNN网络去学习车辆表观特点在时间位置先后关系上的变化规律来校正基于表观信息的车辆再识别方法从而获得更优的再识别准确率。但是这种方法使用的基于时间差和位置差的融合特征并不能准确的表示车辆表观特点在时间位置先后关系上的变化规律，因为任意车辆在任意两个摄像头中表观特征上的差异以及是否是同一车辆，不仅与其在两个摄像头中出现的时间间隔和路程差有关，还与摄像头拍摄的具体时间和位置有关。

总之，因为车辆本身类间差异小、类内差异随时空变化又会普遍增大情况的存在，使得现有方法出现两大类问题。第一，正样本与负样本在特征空间的聚散关系不明晰；第二，时段路段差异导致的类内表观变化难统一。

因此，如何解决上述问题是本领域技术人员亟需解决的技术问题。

发明内容