[发明专利]一种行人跟踪方法和装置

说明书

本发明实施例提供了一种行人跟踪方法和装置，涉及多目标跟踪技术领域。该方法包括：在当前帧图像中提取目标行人的关键点信息和人体特征信息；将关键点信息和人体特征信息进行处理，获取关于目标行人的第一目标特征；通过第一目标特征与从当前帧图像之前的帧图像得到的行人轨迹的历史特征集之间的匹配关系，获取关于目标行人的行人跟踪结果，行人跟踪结果包括目标行人轨迹；根据关键点信息的完整度，对第一目标特征进行加权处理，将加权处理后的第二目标特征添加至与第一目标特征匹配的第一历史特征集中，形成目标行人轨迹的历史特征集，可以减弱有遮挡的特征对于后续匹配的影响，有效减少错误匹配和ID switch，实现长距离的稳定跟踪。

技术领域

本发明涉及多目标跟踪技术领域，尤其涉及一种行人跟踪方法和装置。

背景技术

行人跟踪在众多基于视频的行人行为理解中都有应用；因为人的行为是一段视频帧上的连续姿势组成的，而不是单帧上的一个姿势，所以需要对行人进行跟踪，保证前后两帧上的姿势是同一个人的姿势。

许多视频任务中需要对运动的行人进行跟踪，从而判断人的行为。比如判断某个人有没有吃东西，需要将视频连续帧中的同一个人关联起来，才能够通过该人一连串的动作判断是否在吃东西；统计摄像头视野中一段时间内的人数也需要用到行人跟踪。现实中的摄像头拍摄到的行人经常会受到其他物体或其他人的遮挡，这些遮挡对于行人跟踪的稳定性有很大的害处，既会在当前帧匹配时因遮挡物的影响而出现错误的匹配，又会导致行人轨迹中用于匹配的历史特征中出现不纯净的特征。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种行人跟踪方法和装置。

依据本发明的第一方面，提供了一种行人跟踪方法，该方法包括：

在当前帧图像中提取目标行人的关键点信息以及人体特征信息；

将所述关键点信息和所述人体特征信息进行处理，获取关于所述目标行人的第一目标特征；

通过所述第一目标特征与从所述当前帧图像之前的帧图像得到的行人轨迹的历史特征集之间的匹配关系，获取关于所述目标行人的行人跟踪结果，所述行人跟踪结果包括目标行人轨迹；

根据所述关键点信息的完整度，对所述第一目标特征进行加权处理，将加权处理后的第二目标特征添加至与所述第一目标特征匹配的第一历史特征集中，形成所述目标行人轨迹的历史特征集。

可选的，所述在当前帧图像中提取目标行人的关键点信息以及人体特征信息，包括：

对当前帧图像进行行人检测，获取目标行人的第一行人框；

将所述第一行人框进行外扩，得到扩大后的第二行人框；

通过姿态轨迹模型，在所述第二行人框中提取所述目标行人的关键点信息；

通过特征提取网络，在所述第二行人框中提取所述目标行人的人体特征信息。

可选的，所述对当前帧图像进行行人检测，获取目标行人的第一行人框，包括：

通过行人检测模型对所述当前帧图像进行行人检测，得到满足预设尺寸的目标行人的位置和尺寸；

根据所述目标行人的位置和尺寸，获取所述目标行人的第一行人框。

可选的，所述关键点信息包括：人体关键点坐标和/或人体关键点热力图；

所述人体特征信息包括：人体特征图。

可选的，在所述关键点信息包括人体关键点热力图的情况下，所述将所述关键点信息和所述人体特征信息进行处理，获取关于所述目标行人的第一目标特征，包括：

将所述人体关键点热力图和所述人体特征图的不同图层进行相乘，获取目标图层；