[发明专利]基于人体骨骼关键点的视频流动作检测方法

说明书

本发明涉及一种基于人体骨骼关键点的视频流动作检测方法，利用一个m秒的滑动窗口，每次截取视频中的m秒，每秒n帧。将m*n帧图像分别进行人体骨骼关键点识别，取每帧中top K个骨骼关键点。然后将帧间骨骼数据根据欧式距离拆分为多个骨骼序列，即一个人一个骨骼序列，主要针对不定长视频的动作检测和识别。且在2080TI级别的GPU上能达到1倍实时的速度。使得视频动作检测和识别具有实用效果。

技术领域

本发明涉及视频识别领域，具体涉及一种基于人体骨骼关键点的视频流动作检测方法。

背景技术

动作检测主要是基于人体的姿态模型，对视频采集的动作画面进行识别，例如公开（公告）号 CN107194344A 的中国专利，就公开了一种自适应骨骼中心的人体行为识别方法。主要解决现有技术动作识别精度低的问题。其实现步骤是：1)从骨骼序列数据集中获取三维骨架序列，并对其进行预处理，得到坐标矩阵；2)根据坐标矩阵选择特征参数，自适应选择坐标中心，重新对动作进行归一化，得到动作坐标矩阵；3)通过DTW方法对动作坐标矩阵进行降噪处理，借助FTP方法减少动作坐标矩阵时间错位和噪声问题，再使用SVM进行对动作坐标矩阵进行分类。本发明相比于现有的行为识别方法，有效地提高了识别精度。可应用于监控、视频游戏和人机交互。该技术解决的主要是短视频的动作识别，其主要应用场景主要在于一些门禁或安防识别系统中，对于长视频识别效果就很一般。在现有技术中针对短视频的动作分类有不错的效果，即输入为一个短视频，输出这个视频的动作分类。相关技术例如C3D、ST-GCN、2S-AGCN等。此类方法针对于长视频或者视频流的动作检测却无能为力。再者此类方法，对硬件的要求过高，难以达到实用的效果。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于人体骨骼关键点的视频流动作检测方法，主要针对不定长视频的动作检测和识别。且在2080TI级别的GPU上能达到1倍实时的速度，使得视频动作检测和识别具有实用效。

本发明的目的是通过以下技术方案来实现的：

基于人体骨骼关键点的视频流动作检测方法，该方法包括：

1）利用一个m秒的滑动窗口，每次截取视频中的m秒，每秒n帧，得到m*n帧图像；

2）将m*n帧图像分别进行人体骨骼关键点识别，取每帧中top K个骨骼关键点，这里的top K是表示一张图片里面会有多个人，需要按照一定规则取前K个，比如取置信度最高的K个，或者面积最高的K个。

3）将帧间骨骼数据根据欧式距离拆分为多个骨骼序列，即一个人一个骨骼序列；

4）每个骨骼序列送入深度学习网络模型预测结果。

进一步的，所述3）中还包括一个骨骼数据归一化处理方法，包括：

11）将坐标数据缩放到高1080，宽度适应；

12）以骨骼中心为原点，平移整个骨骼数据，使得骨骼数据与图像分辨率无关，将骨骼数据乘以s0=1.0；

13）计算后帧-前帧之前的关键点的位移数据，首帧为0， 然后将位移数据乘以s1=4.0；，其中s0用以调整归一化后特征数据空间信息的分布范围，s1用以调整归一化后特征数据运动信息的分布范围；

14）将骨骼关键点与位移数据相连堆叠在一起，形成训练以及预测的输入数据，最后得到相应的训练数据。

进一步的，所述骨骼中心是指两髋中间点。

进一步的，所述骨骼数据归一化到-0.5~0.5之间，处于激活函数tanh梯度最大范围，利于深度学习网络模型的训练收敛。概括来说，是基于大量统计信息，观察到归一化后的数据，大致分布在[-0.5, 0.5]区间。