[发明专利]一种面向全画面监控场景的行人检索方法及系统

权利要求书

1.一种面向全画面监控场景的行人检索方法，其特征在于，包含以下步骤：

步骤1，对于给定的待检索视频关键帧和手动裁剪的查询行人图片，分别通过特征提取基础网络进行初步特征提取，记关键帧通过特征提取输出的基础特征图为B；

步骤2，对基础特征图B通过行人区域建议网络PRPN，即Person Region ProposalsNetworks生成固定数目的行人候选区域U；

步骤3，对查询行人图片进行局部特征提取，对行人候选区域进行双通道特征提取，包括全局特征和局部特征，其中提取的全局特征用于进一步分类和回归，分别获得行人候选区域对应的分类信息和行人候选区域的位置信息，提取的局部特征用于对行人候选区域与查询行人图片通过局部匹配的方式进行相似度计算，通过欧式距离直接计算相似度；

步骤3中对查询行人图片进行局部特征提取，对行人候选区域进行双通道特征提取的具体实现方式如下，

步骤3.1，利用行人候选区域特征图U通过空间变换器产生用于进行仿射变换的系数θ_a，b，并组成仿射变换矩阵A_θ；

步骤3.2，在空间变换器中，以采样网格G的某一点坐标为自变量，A_θ为参数矩阵，通过参数化采样得到输入特征图U对应的坐标

步骤3.3，根据行人候选区域特征图U和采样网格映射到U上的区域，采用线性插值的方式得到对应的输出特征图V；

步骤3.4，构建全局特征网络和局部特征网络，其中全局特征网络采用Fast R-CNN架构，最后通过2个全连接层输出2个固定维度的向量；局部特征网络采用多个全局平均池化层和卷积层，得到多个固定维度的特征向量；

步骤3.5，对步骤3.4构建的全局特征网络和局部特征网络进行训练；

步骤3.6，利用训练好的局部特征网络对查询行人图片和输出特征图V进行局部特征提取，利用训练好的全局特征网络对输出特征图V进行全局特征提取；步骤4，如果最大相似度大于设定阈值，则将最大相似度的行人候选区域标记为目标行人，结合其分类信息和位置信息输出最终的检索结果。

2.如权利要求1所述的一种面向全画面监控场景的行人检索方法，其特征在于：步骤1中的特征提取基础网络为ResNet50的conv1层到conv4_3层，包含卷积层、最大值池化层以及激活函数层。

3.如权利要求1所述的一种面向全画面监控场景的行人检索方法，其特征在于：步骤2的具体实现方式如下，

步骤2.1，利用先验知识选取一系列不同尺寸和比例的k个先验框anchor；

步骤2.2，对于输入基础特征图B的每个像素点，根据anchor产生k个候选区域；

步骤2.3，使用分类器对所有行人候选区域进行分类，判断其属于行人还是背景，最后通过非极大值抑制保留128个属于行人的候选区域。

4.如权利要求1所述的一种面向全画面监控场景的行人检索方法，其特征在于：步骤3.2的具体实现方式如下，

对于每个行人候选区域，将对应的仿射变换参数θ_a，b作为采样网格的参数，对于采样网格的第i′个点G_i′，通过参数化采样得到输入特征图U对应的坐标，如下式所示：

其中，表示采样网格G的第i′个像素点的坐标，表示输入特征图U对应的坐标。

5.权利要求1的一种面向全画面监控场景的行人检索方法，其特征在于：步骤3.3的具体实现方式如下，

根据行人候选区域特征图U和采样网格在U上的对应坐标采用线性插值的方式的到输出特征图V，如下式所示：

其中，是输入特征图第c个通道上的点(n，m)的灰度值，是输出特征图上第c个通道上对应点的灰度值，C为1024，表示输入特征图通道数；H和W表示U的长和宽，H′和W′表示V的长和宽；Φ_x和Φ_y是一个具体的采样核参数，定义了输入与输出特征图的重要关系，利用双线性插值将上式简化为：