[发明专利]基于深度学习的实例级行人检测和行人重识别系统

说明书

本发明涉及视频监控技术领域，公开了基于深度学习的实例级行人检测和行人重识别系统，选择ResNet‑50作为CNN模型的网络结构，利用conv1到conv4_3作为stem CNN部分，给定一张输入图像，stem产生1024个通道的conv feature maps；将获得的conv feature maps输入到pedestrian proposal net中；将上述步骤得到的feature maps和proposals输入到ROI Align中，根据proposals的坐标位置在feature maps中将相应的区域池化为固定尺寸的特征图；将ROIAlign得到的固定大小的feature maps输入到Identification Net中，IdentificationNet由ResNet‑50的conv4_4值conv5_3组成，获得最终的feature maps；在ROIAlign后接入FCIS语意分割网络，对feature maps进行上采样，获得最终的实例级语意分割的结果；经过global average pooling获得2048维度的特征向量，经过Softmax分类器和线性回归获得行人的位置。本发明实现了端到端的行人实例级检测和行人再识别功能。

技术领域

本发明涉及视频监控技术领域，特别涉及基于深度学习的实例级行人检测和行人重识别系统。

背景技术

在公共场所，例如：机场、商场、公园广场等行人相对密集的场景，为了识别不同视角的非重叠监控场景下的行人身份，行人重识别技术得到广泛发展，尤其是在监控视频领域。由于不同监控场景下同一行人存在背景、光照、朝向等差异大的问题，在行人相对密集的场所如何对行人实例级检测和行人再识别，在检索库中检索难度较大。

发明内容

发明的目的在于提供基于深度学习的实例级行人检测和行人重识别系统，通过行人再识别部分计算待查询图像与行人检索库中所有行人的相似度，按照相似度从高到低返回包含检索库中行人的图像帧，实现端到端的行人实例级检测和行人再识别功能，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

基于深度学习的实例级行人检测和行人重识别系统，包括如下步骤：

S1：选择ResNet-50作为CNN模型的网络结构，其具有的conv1和四个blocks(conv2_x to conv5_x)每个blocks包含3，4，6，3个残差单元，利用conv1到conv4_3作为stem CNN部分，给定一张输入图像，stem产生1024个通道的conv feature maps；

S2：将获得的conv feature maps输入到pedestrian proposal net中，在每个feature map的每个位置上利用anchor机制和Softmax分类器判断前景和背景，同时采用线性回归调整anchor的位置，经过非极大值抑制，保留128个调整后的bbox作为proposals；

S3：将S2得到的feature maps和proposals输入到ROI Align中，根据proposals的坐标位置在feature maps中将相应的区域池化为固定尺寸的特征图，方便后续的分类和包围盒回归操作，遍历每个proposal，将proposal分割成k*k个单元，利用双线性内插法计算四个坐标值，最后进行最大池化；

S4：将ROIAlign得到的固定大小的feature maps输入到Identification Net中，Identification Net由ResNet-50的conv4_4值conv5_3组成，获得最终的feature maps；

S5：为了获得实例级的语意分割，在ROIAlign后接入FCIS语意分割网络，对feature maps进行上采样，获得最终的实例级语意分割的结果，在COCO数据上预训练的网络模型，该数据集中有81类，只关注行人这一类，直接拿过来使用，不分布参与训练；