[发明专利]一种基于行人检测、属性学习和行人识别的行人检索增强方法

说明书

本发明公开了一种基于行人检测、属性学习和行人识别的行人检索增强方法，包括行人检测、行人重识别、行人属性预测，通过使用行人检测损失函数、属性分类损失函数和身份分类损失函数，利用属性和身份标签通过训练框架识别行人在图像中的位置，最终的损失函数。本发明通过开发一个多任务的深度学习框架来解决行人检索问题，该框架在单个卷积神经网络中综合考虑了行人检测、行人重识别和行人属性预测，提高检索精度。

技术领域

本发明涉及一种基于行人检测、属性学习和行人识别的行人检索增强方法。

背景技术

行人检索因其在视频监控中的重要作用而受到越来越多的关注，它的目的是在多个非重叠的相机视图中检索感兴趣的人。给定一副图片，任务是通过计算图片与候选图像之间的相似性/距离对候选的所有行人图像进行排序，并返回最相关的图像作为检索结果。它主要由特征提取和度量学习两部分组成。第一部分着重于设计更加健壮的特征。第二个部分是学习一个合适的距离/相似度函数，使用从图像中提取出的特征来更好的描述相似/不同样本之间的相似关系。在早期的工作中，大多数工作仅仅使用一种特征作为检测的依据，最常用的是颜色和纹理特征，即通过图像中行人和背景之间颜色和纹理的差别将行人分离出来进行检索。从不同的相机视角观察人体外观的复杂变换并提取图像特征是另一种已经被提出的方法。另外还有将人体姿态估计引入该工作的方法，该类方法需要借助人体姿势相关的数据集和专门的姿势估计模块才能从复杂的实际场景中检索出与目标相符的行人图像特征。不足的是，姿势数据集和行人检索数据集存在的语义偏差会影响行人检索的精度。

另一方面，由于不同的特征所携带的信息侧重点不同，导致使用单一的特征并不能达到较好的效果。因此部分研究者提出多特征学习的方法对图像中的行人进行检索。在已经提出的方法中，包括通过引入注意力机制和序列相似性估计的方法以及使用多通道的卷积神经网络同时学习行人的全局特征和局部肢体特征的方法等。其基本目的都是学习图像特征和更加准确的度量行人图像之间的差异。除此之外，还有将关注点聚焦于噪声的方法，提出使用一种自定步长离群点检测的方法来评估视频子序列的噪声程度，然后使用加权多距离度量的方法对两幅图像序列进行距离度量。

近年来，越来越多的研究者倾向于通过训练深度神经网络，端到端联合学习特征和度量。在基于深度神经网络的行人检索方法中，识别行人是首要工作。较早提出的方法中有研究者提出在端到端框架下共同处理行人检测和识别。还有人提出使用生成式对抗网络生成的未标记样本对行人检索中的超平面模型进行正则化，从而有效的提高了模型性能。

行人检索的精度直接受到行人检测效果的影响。在行人检测领域，可变形部件模型(DPM)、聚集通道特征(ACF)和局部去相关通道特征(LDCF)是三种典型的基于手工特征和线性分类器的行人检测方法。在已经提出的方法中，试图将行人。

发明内容

本发明的目的是提供一种基于行人检测、属性学习和行人识别的行人检索增强方法，其是一个端到端的行人检测框架，该框架以多任务学习的方式将行人检测、行人重识别和行人属性预测有机地结合起来，提高检索的精度。

为解决上述技术问题，本发明采用如下技术方案：

一种基于行人检测、属性学习和行人识别的行人检索增强方法，包括如下步骤：

S1、行人检测

进行行人检索的第一步是要在给定的图像中检测出行人所在的区域，目前对于该工作取得较好效果的是FasterR-CNN；Faster-RCNN基于深度学习，具有统一性和高精度，是目前非常流行的一种目标检测方法；当从行人图像中检测行人时，使用Faster-RCNN作为检测器；该检测器通过共享卷积特性将RPN和 FastR-CNN合并为一个网络；作为一个全卷积网络，RPN可以同时预测每个位置的目标边界和得分；当检测行人时，首先通过RPN生成高质量的区域建议，然后使用FastR-CNN网络进行检测；根据这些定义，FasterR-CNN具有跟踪多任务损失的目标函数，图像特定的损失函数定义为：