[发明专利]一种基于骨架信息的双向LSTM-CNN的视频行为识别方法

权利要求书

1.一种基于骨架信息的双向LSTM-CNN的视频行为识别方法，其特征在于：该方法包括以下步骤：

S1：在RGB图的基础上采集视频帧中的骨架序列信息，并将提取的数据进行归一化处理；

S2：将提取到的骨架序列信息输入输入双向长短时记忆网络中进行视频帧图像的空间特征提取；

S3：使用卷积神经网络对经时序特征提取后的骨架序列进行空间特征提取；

S4：使用训练好的SVM分类器替换卷积神经网络的最后一层网络，根据提取的骨架时空特征进行行为识别分类。

2.根据权利要求1所述的一种基于骨架信息的双向LSTM-CNN的视频行为识别方法，其特征在于：所述S1中，根据输入视频帧进行骨架序列信息提取，采用姿态识别工具Openpose识别出骨架信息，并将骨架信息依据三维点序列的形式保存，人体骨架是n个骨架节点的三维坐标(x,y,z)，并建立骨架距离图和骨架角度图用来描述骨架的时空特征。

3.根据权利要求书2所述的一种基于骨架信息的双向LSTM-CNN的视频行为识别方法，其特征在于：所述S2中，将得到的骨架序列信息输入到双向LSTM中进行时间序列特征提取，通过双向长短时记忆网络能够拟合视频中复杂的时序特征。

4.根据权利要求书3所述的一种基于骨架信息的双向LSTM-CNN的视频行为识别方法，其特征在于：所述S3中，经双向长短时记忆网络进行提取时序特征后，再经过卷积神经网络提取骨架序列中的空间特征。其中卷积神经网络采用层次更深更宽的inception V3卷积层，能够更好的拟合输入与输出的函数关系，能够更快的提取到具有判别性的行为特征。

5.根据权利要求书4所述的一种基于骨架信息的双向LSTM-CNN的视频行为识别方法，其特征在于：所述S4中，把卷积神经网络中最后一层的Softmax替换为设计的SVM分类器中。将经过双向长短时记忆网络和卷积神经网络提取到的时空特征向量输入到SVM分类器中进行行为识别分类。