[发明专利]一种结合空间变换网络和多尺度特征提取的遮挡行人重识别方法

说明书

本发明公开了一种结合空间变换网络和多尺度特征提取的遮挡行人重识别方法，包括下述步骤：用模拟遮挡生成器构建有遮挡的行人图片集；将原始图片与有遮挡的行人图片组成数据集并输入到空间变换网络中进行空间变换纠正；通过卷积神经网络和空间金字塔池化层对纠正后的图进行多尺度特征提取并合并为定长一维特征向量；将定长一维特征向量通过全连接层得到一个包含K个元素的一维特征向量并进行身份分类训练，得到训练好的网络；用训练好的网络提取待查询的行人图像的特征并进行相似度匹配。本发明进行多尺度特征提取，通过结合不同尺度的特征图，使得模型更具鲁棒性；还引入了空间变换网络，可直接嵌入到任意深度网络模型中进行端到端的训练。

技术领域

本发明属于深度学习和计算机视觉的技术领域，具体涉及一种结合空间变换网络和多尺度特征提取的遮挡行人重识别方法。

背景技术

行人重识别被认为是一个图像检索的子问题，其希望利用计算机视觉技术进行跨摄像头的追踪，具体为给出某一张摄像头下的待查询行人图像，从其他非重叠摄像头拍摄得到的图像库中检索出具有相同身份的行人图像。该技术被广泛应用于视频监控、智能安保等公共安全领域。在过去的几年中，行人重识别问题得到了广泛的研究，但它们通常假设图像库和待查询图像是完整的行人图像，而实际场景中我们的行人总会不可避免被各种障碍物遮挡、比如车辆、墙壁、其他行人等，这就是有遮挡的行人重识别问题。

针对遮挡行人重识别问题，一些研究者提出了自己的解决方案，概括地说主要有以下几种：

1)增强训练样本，在训练样本加入随机遮挡样本来提升深度神经网络对于遮挡行人图像的识别能力，但是仅仅只是这样做也会不可避免地由于遮挡而引入了噪声特征。

2)成对训练学习，选取一张完整行人图像和一张被遮挡的行人图像组成一对输入数据，分别送入相同/不同的网络去提取特征，最后根据拉近相同身份的人的特征，拉远不同身份的人的特征这个原则来指导网络学习。这种方法能够有效地区分不同行人的身份，但是它对训练样本的组成敏感，训练样本的数量不同或者一对输入数据的两张图片选择不同，可能会很大地影响模型效果。

3)引入人体关键点估计模型。通过识别一张图上人的关键点(骨架点)，让模型能够只关注人的区域，最后通过提高人的区域的特征权重，大幅降低或去掉非人部分的特征权重，能够有效地提升识别效果，减轻遮挡因素的干扰。但是这种方法取决于要事先训练出一个效果优秀的人体关键点估计模型，训练成本稍大。

4)采用图网络和人体关键点估计结合的方法。先使用人体关键点估计模型来学习关键点，提取对应关键点的语义信息，然后将学到的语义特征作为图的节点，通过一个方向自适应图卷积层来学习和传递边缘特征，最后学习两张图(两个人)的节点间的对应关系。这个方法能够大大提高识别的正确率，但由于同时有图网络和人体关键点估计、模型较复杂，训练成本较高。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种结合空间变换网络和多尺度特征提取的遮挡行人重识别方法，能够以较简单的模型、较低的训练成本取得较好的识别效果。

为了达到上述目的，本发明采用以下技术方案：

本发明提供了一种结合空间变换网络和多尺度特征提取的遮挡行人重识别方法，其特征在于，包括下述步骤：

S1、利用模拟遮挡生成器在一个行人数据集上构建有遮挡的行人图片；

S2、将原始行人图片与新生成的有遮挡的行人图片组成新的数据集，并将新的数据集输入到空间变换网络中进行空间变换纠正；所述空间变换网络用于对新的数据集中的图片进行自动裁剪、平移、缩放，使图片只保留人的部分，得到纠正后的图片；

S3、利用卷积神经网络和空间金字塔池化层对所述纠正后的图片进行多尺度特征提取并合成定长一维特征向量；