[发明专利]一种基于视频的行人重识别方法

说明书

本发明公开了一种基于视频的行人重识别方法，本发明采用CNN提取图像序列帧中行人外形、外观等静态特征，采用CNN和RNN相结合学习行人在时间轴上的步态、步频等运动特征，结合比较行人的静态和运动特征，有效提高了算法的识别能力和准确性；通过对行人关节点检测的结果判断图像中行人是否被遮挡或者是否受光照影响干扰，从而对不同的视频帧设置合适的权重，进而提升行人特征提取的鲁棒性；算法根据待查询视频以及候选视频的拍摄时间，选择合适的权重对行人静态特征和运动特征进行加权综合计算，从而使得重识别算法更鲁棒、准确性更高；解决了由于衣着、外观等变化影响行人重识别算法能力的问题。

技术领域

本发明涉及智能视频图像分析技术领域，具体为一种基于视频的行人重识别方法。

背景技术

行人重识别(Person re-identification)也称行人再识别，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。目前研究较多是基于静态图片的行人重识别，即：对于给定的行人图片，在图片库中检索属于给定行人的其他图片。

近年来，基于视频的行人重识别因为其较高的实用价值已逐渐成为研究热点。与基于静态图片的行人重识别的区别在于，基于视频的行人重识别是对给定的某个行人视频序列，要求在视频库中找到属于该行人的其他视频序列。

给定行人的视频序列带来的变化是，行人不仅在空间域有了更丰富的静态特征，如外形、姿态等，同时也具有了时间域上的动态特征，如步态、步频以及摆动和站立阶段之间的比率等。因此，基于视频的行人重识别算法，不仅可以挖掘视频序列中行人的静态特征，还可以学习其在时间轴上行人的动态特征。如果能有效利用两者的信息，其识别能力将明显优于传统的基于静态图像的行人重识别算法。

当前基于视频的行人重识别算法主要有三类：第一类算法是把视频序列帧作为多个单张图片输入，采用注意力模型机制提取每张图片的中行人特征信息并进行融合，生成最终的基于视频级的行人特征。第二类是采用光流算法、3D卷积神经网络(3D CNN)、循环神经网络(RNN)等提取运动信息。第三类是基于步态特征进行重识别，如采用现有的Openpose算法提取人体的关节点，利用RNN或者图卷积神经网络(GCN)等学习行人的步态特征，并以此作为行人重识别的依据。

第一类算法的缺点是没有有效利用视频帧序列的运动信息，降低了算法的重识别能力；第二类算法中由于视频序列帧受到遮挡、光照等影响，这些算法效果均不理想；第三类算法的缺点在于严重依赖于身体关节的准确检测，它们通常对遮挡更敏感，一旦未识别到关节点或者关节点识别不准确则算法失效。

发明内容

本发明的目的在于提供一种基于视频的行人重识别方法，以解决上述背景技术中提出的问题。

为了解决上述技术问题，本发明提供如下技术方案：一种基于视频的行人重识别方法，包括以下步骤：

S1、输入待查询query行人视频序列帧；

S2、用现有网络openpose模型对每一帧的行人进行关键点检测，并根据检测结果对每一帧分别设置权重；

S3、用预先训练好的卷积神经网络CNN对视频序列帧提取行人静态特征并进行加权计算，得出综合静态特征；

S4、用预先训练好的卷积神经网络CNN以及循环卷积神经网络RNN对视频序列帧提取行人运动特征并进行加权计算，得出综合运动特征；

S5、计算待查询query行人视频序列与候选gallery行人视频序列之间的综合静态特征的欧式距离D_s；

S6、计算待查询query行人视频序列与候选gallery行人视频序列之间的综合运动特征的余弦距离D_m；

S7、把D_s与D_m分别经过变换后再进行加权计算，得出综合距离，以此作为判断行人相似度的依据。