[发明专利]一种结合空间变换网络和多尺度特征提取的遮挡行人重识别方法

权利要求书

1.一种结合空间变换网络和多尺度特征提取的遮挡行人重识别方法，其特征在于，包括下述步骤：

利用模拟遮挡生成器在一个行人数据集上构建有遮挡的行人图片；具体包括以下步骤：

设原始图片img的大小为w*h，提取img的四个顶点的像素值img[0,0],img[0,h-1]，img[w-1,0]以及img[w-1,h-1]，求出所述四个顶点的平均像素值C，计算公式如下：

C＝(img[0,0]+img[0,h-1]+img[w-1,0]+img[w-1,h-1])/4；

随机选取一个矩形局域：

AREA＝[X_random,Y_random,X_random+w′,Y_random+h′]；

其中X_random,Y_random表示矩形左上角坐标，X_random+w′,Y_random+h′表示矩形右下角坐标，满足w′＝min(w,50),h′＝min(h,50且矩形区域不超出原图的范围；

使用C替换该矩形区域的像素值，得到一张有遮挡的行人图片；

将原始行人图片与新生成的有遮挡的行人图片组成新的数据集，并将新的数据集输入到空间变换网络中进行空间变换纠正；所述空间变换网络用于对新的数据集中的图片进行自动裁剪、平移、缩放，使图片只保留人的部分，得到纠正后的图片；所述空间变换网络包括：定位网络、坐标生成器和采样器；

所述定位网络利用一个小卷积神经网络提取图片特征，并将所述图片特征通过全连接回归层得到6个变换参数；

所述坐标生成器用于根据所述变换参数构建采样网络，即得到一种映射关系T_θ，具体为：

其中表示输入空间变换网络中的图片U的第i个像素点的坐标，表示目标图像V的第i个像素点的坐标,θ为定位网络得到的6个变换参数；

所述采样器用于根据采样网络所得的映射关系对输入空间变换网络中的图片U进行像素级采样复制得到目标图像V；所述采样器采用双线性采样，计算公式如下：

其中，H、W、C分别为输入空间变换网络中的图片U的高、宽和通道数，为输入空间变换网络中的图片U的第c个通道中坐标为(n,m)的像素点的值，H′、W′分别表示目标图像V的高和宽，V_i^c表示目标图像V第c个通道中第i个像素点的值；

利用卷积神经网络和空间金字塔池化层对所述纠正后的图片进行多尺度特征提取并合成定长一维特征向量；

将所述定长一维特征向量通过全连接层得到一个包含K个元素的一维特征向量，再进行行人图像的身份分类训练，得到训练好的网络；

利用所述训练好的网络提取待查询的行人图像的特征并进行相似度匹配。

2.根据权利要求1所述的一种结合空间变换网络和多尺度特征提取的遮挡行人重识别方法，其特征在于，所述卷积神经网络采用调整后的ResNet50，具体为：采用原始ResNet50的第一层卷积层到第五层卷积层结构并对最后一层卷积层结构执行放大操作，得到比原输出的特征图大一倍的特征图表示。

3.根据权利要求2所述的一种结合空间变换网络和多尺度特征提取的遮挡行人重识别方法，其特征在于，所述的放大操作为将第五层卷积层结构的卷积核步长由原始的2改为1。

4.根据权利要求1所述的一种结合空间变换网络和多尺度特征提取的遮挡行人重识别方法，其特征在于，所述空间金字塔池化层用于将任意大小的输入图片输出成多个不同固定大小的特征图，并将所述多个不同固定大小的特征图各自展开成一维特征向量并通过concat操作合并成一个定长一维特征向量。