[发明专利]一种属性和状态引导的结构嵌入车辆重识别系统和方法

说明书

一种属性和状态引导的结构嵌入车辆重识别系统和方法，属于计算机视觉技术领域，解决车辆重识别中的相同车辆间的类内差异和不同车辆间类间差异的问题，系统通过基于属性的增强和基于状态的弱化来学习车辆重识别中具有判别力的特征，包括：残差网络模块、基于属性的增强和扩展模块、基于状态的削弱和收缩模块以及全局结构嵌入模块；方法，含两个阶段：训练阶段和测试阶段；利用属性的增强和扩展来增加不同车辆间的特征间距，利用状态的弱化和收缩来减小相同车辆间的特征间距，从而更好的帮助网络学习车辆的特征。

技术领域

本发明属于计算机视觉技术领域，涉及一种属性和状态引导的结构嵌入车辆重识别系统和方法。

背景技术

车辆重识别的任务是在不重叠的监控摄像头中匹配车辆图像。由于它在视频监控，社会治安，智慧城市和智慧交通等领域的广泛应用，因此它是一项活跃而具有挑战性的计算机视觉任务，并引起了广泛的关注。尽管最近在车辆重识别方面取得了突破，但它仍然面临着两个严峻的挑战。

如图1(a)和(b)所示，在不同状态下(例如不同的相机角度、车辆视角以及拍摄时间)的相同车辆图片间存在着较大类内差异。如图1(b)、(c)和(d)所示，不同的车辆间存在细微的类间差异，特别是两辆车有着相同或相似的属性，例如颜色、型号和生产商等。因此，解决相同车辆间的类内差异和不同车辆间类间差异已成为车辆重识别中的重要任务。

现有的解决方式提出了不同的方法来解决上述的两个挑战。具有代表性的方法主要分为四类：1)基于全局特征的方法，通过特定的度量学习方法提取车辆图像的全局手工/深度特征；2)基于路径的方法，在推理阶段通常采用时空信息去除不合理的车辆，细化检索结果；3)基于视角的方法，其目的是通过度量学习来处理视角变化，并学习车辆Re-ID的多视角特征；4)基于局部信息增强的方法，通过提供一些稳定的具有判别力的线索来增强车辆重识别中的类间差异。

但是在针对车辆重识别中存在的相同车辆间有较大的类内差异和不同车辆间有着较小的类间差异的两大挑战时，现有的解决方式存在着如下缺点：

1)基于全局特征的方法只考虑了车辆图像的外观，通常难以捕捉类内相似性和类间差异；

2)基于路径的方法往往在车辆特征的学习阶段，忽略了车辆因时空变化引起的外观变化；

3)基于视角的方法尽管显著减少了类内差异，但它们忽略了车辆的内在状态因素(如相机视角和捕捉时间)，忽视了细微类间差异的挑战；

4)基于局部信息增强的方法需要有局部区域提取操作，然而，局部区域提取模型通常需要大量的标注数据，耗时费力。

现有技术中，公开日期为2019年的文献《基于多属性的车辆重识别方法研究》(厦门大学，李科)，公开了一个融合车辆角度的车辆重识别算法、提出了融合车辆颜色和车型的车辆重识别算法、构建了基于网页平台的车辆重识别演示系统；但是该文献虽然考虑了车辆的属性信息，但只是将属性信息直接拼接在车辆特征上当做辅助信息进行使用，虽然这样也获得了较好的车辆重识别性能，但没有考虑对属性信息和车辆特征进行同时优化。公开日期为2020年的文献《多视图稀疏融合与多尺度注意力的车辆重识别方法研究》(安徽大学，董家成)设计了一个基于多尺度注意力机制的车辆重识别网络，利用骨架网络提取车辆特征图，之后利用二次插值方法，生成其他尺度的车辆特征图，并且分别送入对应的包含空间通道注意力模块的子网络中。分别训练这些子网络后，利用结合层来融合多尺度注意力特征图，并且微调整个网络。该网络通过融合多尺度的互补信息，并且利用注意力机制挖掘判别性的局部细节，获得了更为鲁棒的特征；但是该文献并且没有考虑属性和状态的信息的问题。

发明内容

本发明的目的在于如何设计一种属性和状态引导的结构嵌入车辆重识别方法和系统，解决车辆重识别中的相同车辆间的类内差异和不同车辆间类间差异的问题。

本发明是通过以下技术方案解决上述技术问题的：