[发明专利]基于人体骨骼关键点的视频流动作检测方法

权利要求书

1.基于人体骨骼关键点的视频流动作检测方法，其特征在于，该方法包括：

1)利用一个m秒的滑动窗口，每次截取视频中的m秒，每秒n帧，得到m*n帧图像；

2)将m*n帧图像分别进行人体骨骼关键点识别，取每帧中top K个骨骼关键点；

3)将帧间骨骼数据根据欧式距离拆分为多个骨骼序列，即一个人一个骨骼序列；

4)每个骨骼序列送入深度学习网络模型预测结果；

所述3)中还包括一个骨骼数据归一化处理方法，包括：

11)将坐标数据缩放到高1080，宽度适应；

12)以骨骼中心为原点，平移整个骨骼数据，使得骨骼数据与图像分辨率无关，将骨骼数据乘以s0＝1.0；

13)计算后帧至前帧之前的关键点的位移数据，首帧为0，然后将位移数据乘以s1＝4.0，其中s0用以调整归一化后特征数据空间信息的分布范围，s1用以调整归一化后特征数据运动信息的分布范围；

14)将骨骼关键点与位移数据相连堆叠在一起，形成训练以及预测的输入数据，最后得到相应的训练数据；

所述深度学习网络模型是单流模型，其具体的详细描述：

输入数据为归一化的骨骼关键点数据；每帧一个，支持输入1～n帧；输入形状为(batch_size,seq_len,feat_num)；

经过线性变化和Tanh激活；

送入多层双向LSTM深度学习网络模型；

利用CRF层强化序列标签转化关系。

2.根据权利要求1所述的基于人体骨骼关键点的视频流动作检测方法，其特征在于，所述骨骼中心是指两髋中间点。

3.根据权利要求1所述的基于人体骨骼关键点的视频流动作检测方法，其特征在于，所述骨骼数据归一化到-0.5～0.5之间，处于激活函数tanh梯度最大范围，利于深度学习网络模型的训练收敛。

4.根据权利要求1所述的基于人体骨骼关键点的视频流动作检测方法，其特征在于，所述深度学习网络模型预测方法是将骨骼序列[x0,x1,x2,…]输入一个双向循环神经深度学习网络模型，预测每帧的标签；输出结果：[o,o,o,o,o,b_t,i_t,i_t,i_t,i_t,i_t,o,o,o,o,o,b_z,i_z,i_z,i_z,i_z,i_z,i_z,i_z,i_z,i_z,o,o,o,o,o]，其中o为无动作序列，非o为动作序列，t为跳，z为转,b_为动作的开始，i_为动作的继续；o的下一个可以是o,b_，不可以是i_；b_的下一个可以是i_，不可以是b_，o；i_的下一个可以是i_，o，b_。

5.根据权利要求1所述的基于人体骨骼关键点的视频流动作检测方法，其特征在于，还包括一个训练数据集制作方法，包括：

111)将待标注视频按照每秒10帧进行抽帧；

112)以图像质量从高到底抽取10组；

113)将其中一组数据人工打标，即将一个动作序列放入到对应的动作目录中；两个动作序列之间帧号必须不连续；

114)剩余组数据，自动按照人工打标的数据自动分组；

115)逐帧抽取骨骼关键点；

116)将骨骼关键点数据按照所述归一化方式进行归一化；

117)随机组合训练数据为30～70的序列，其中包含动作序列和无动作序列；

118)训练数据分为帧号序列和标签序列，分别存放于不同文件中；

帧号对应的特征数据，也存放于一个单独的特征文件中。