[发明专利]基于深度学习的多人跟踪方法及系统

权利要求书

1.一种基于深度学习的多人跟踪方法，其特征在于，包括：

实时采集待追踪的多人视频数据；

从当前视频帧中获取人员数量，并基于遮挡发生开关及相邻帧人数变化，判断当前帧是否存在遮挡；

若当前视频帧与前一视频帧的人数相等，则查询遮挡发生开关状态，若为未遮挡状态，则基于kinect内置算法直接计算人员位置；若为遮挡状态，则基于预先训练的影子特征模型识别被遮挡人员的影子，并通过人员影子求解被遮挡人员位置；若当前视频帧与前一视频帧的人数不等，则对当前视频帧与前一视频帧中的人数进行比较，若当前视频帧小于前一视频帧，则置遮挡发生开关为true，并基于预先训练的影子特征模型识别被遮挡人员的影子，并通过人员影子求解被遮挡人员位置；若不小于前一视频帧，则基于kinect内置算法直接计算人员位置；直至完成最后一帧数据的处理，实现多人跟踪；

所述基于kinect内置算法直接计算人员位置，其中，所述内置算法具体采用如下步骤：使用分割策略，将视频帧中的人体从背景图像中分离出来，然后调用Kinect预先训练好的人体模型，对整个人体的不同部位进行评估，确定人体的骨骼和关节坐标信息；此时得到的坐标是在二维像素图像中生成的二维坐标；然后结合红外线成像的深度图，生成二维转三维的矩阵进行坐标转换，来确定骨骼以及关节点的三维空间位置，最后，输出人体双脚关节点的中心位置作为未被遮挡人员的最终位置；所述基于遮挡发生开关及相邻帧人数变化，判断当前帧是否存在遮挡，具体为：若当前视频帧与前一视频帧的人员数量相等时，查询遮挡标记的状态，当遮挡标记为false时，则该视频帧处于未遮挡状态；当遮挡标记为true时，则该视频帧处于遮挡状态；若当前视频帧与前一视频帧的人员数量不等时，比较相邻两帧的人员数量大小，若当前视频帧小于前一视频帧，则该视频帧处于遮挡状态，若不小于前一视频帧，则该视频帧未处于遮挡状态；

所述基于预先训练的影子特征模型识别被遮挡人员的影子，并通过人员影子求解被遮挡人员位置，具体为：将当前视频帧数据输入预先训练的影子特征模型中，获得全部人员的影子信息；通过影子的位置替代遮挡用户的位置，并融合Kinect的位置信息、未遮挡用户的影子信息，完成遮挡用户的位置计算；

所述方法只用到Kinect自身位置信息以及影子信息，在计算的时候不必获取人的位置信息，即便是没有发生遮挡的用户也可以用影子的位置信息来代替使用者的位置信息。

2.如权利要求1所述的一种基于深度学习的多人跟踪方法，其特征在于，所述影子信息为视频帧中包围影子的多边形的顶点坐标组成。

3.如权利要求1所述的一种基于深度学习的多人跟踪方法，其特征在于，所述影子特征模型采用MasKR CNN网络模型，包括ResNet-FPN部分，ROIAlign部分。

4.如权利要求1所述的一种基于深度学习的多人跟踪方法，其特征在于，所述从当前视频帧中获取人员数量，具体为使用Kinect自带的人体骨骼捕捉系统捕捉人体骨骼，并通过统计捕捉到的骨骼数量从而统计人员数量。