[发明专利]一种基于骨架信息的双向LSTM-CNN的视频行为识别方法

说明书

本发明涉及一种基于骨架信息的双向LSTM‑CNN的视频行为识别方法，属于视频处理领域。该方法首先基于视频帧进行人体骨架序列信息的提取，之后将数据归一化处理，将处理后的数据输入到双向LSTM网络中进行时间序列特征的提取；将经过时间特征提取后的骨架序列输入到卷积神经网络中提取空间特征；最后将经过双向LSTM‑CNN网络提取的时空特征输入到SVM分类器中将行为识别分类。本方法不仅充分识别了视频序列中的时空信息而且提高了行为识别的准确率。

技术领域

本发明属于视频处理领域，涉及一种基于骨架信息的双向LSTM-CNN的视频行为识别方法。

背景技术

视频行为识别检测目的是通过对视频片段进行分类来确定人体行为类别。目前视频行为识别可以分为传统机器学习行为识别方法和深度学习行为识别方法。传统机器学习行为识别需要人为设计并提取相关视频的特征，然后对视频特征进行编码，最后采用传统机器学习中的分类方法得到分类结果。传统机器学习的分类方法存在特征选取不恰当、时间复杂度高和识别准确率低等问题；深度学习行为识别采用端到端的学习方式，能更好的拟合不同行为之间的非线性特征，具有更加普适的特征描述。数据特征的提取由深度学习或模型自动完成，同时增强了模型的泛化性能，能够拥有更好的识别效果。

视频序列的行为识别主要采用的方法有C3D网络、双流模型等。C3D网络利用3D卷积对时空信息进行处理，但是对于空间特征挖掘不够充分；双流网络主要采用RGB图像提取特征，该方法通过提取图像的光流轨迹再使用卷积神经网络实现行为的识别，但是在识别过程中无可避免的引入很多无用干扰信息，比如白噪声、场景的不可预见性、光照等。另外大多数的深度学习模型最后一层使用Softmax进行分类预测和最小化交叉熵损失，样本量的缺失容易过拟合且在泛化能力上弱于传统的分类算法。

发明内容

有鉴于此，本发明的目的在于提供一种基于骨架信息的双向LSTM-CNN的视频行为识别方法。

为达到上述目的，本发明提供如下技术方案：

步骤一：骨架信息的提取，使用人体姿态估计工具在RGB图基础上提取人体骨架序列信息进行数据归一化；

人体姿态估计采用Openpose工具在每个视频帧中定位人的关键点，并基于关键点对人体关节和躯干进行姿态重建。视频帧中人体姿态可以视为由一系列坐标点连接起来描述，各个坐标点即视做人体的关节，各个坐标点连接起来就是人体躯干。骨架以三维点序列的形式保存，人体骨架是n个骨架节点的三维坐标(x，y，z)，为消除骨架拍摄视角对识别结果的影响，采用骨架距离图和骨架角度图描述骨架的空间特征。视频中的一个运动序列由若干帧组成，最后得到最后的骨架运动序列。

步骤二：将步骤一的骨架序列信息输入到双向长短时记忆网络层，双向长短时记忆网络层对前后帧骨架图的时间序列特征进行提取；

视频行为中最重要的就是视频帧行为之间的时序信息，使用卷积神经网络无法对于视频帧中的信息变化进行时序建模。循环神经网络从时间维度上进行视频的特征提取，将输入数据按序列顺序处理，由当前时刻外部输入和前一刻保留的内部输出决定当前时刻的处理结果。舍弃冗余无关的信息，保证最终在时间维度上完成信息的降维和信息的累积。双向长短时记忆网络通过在神经元内部构造复杂的函数，增加循环神经网络神经单元的复杂度使模型更加复杂，以此增强循环神经网络拟合复杂数据的能力。

步骤三：将经过步骤二进行时序特征提取后的输出输入到卷积神经网络中进行视频帧图像的空间特征提取；

视频帧的空间特征提取采用inceptionV3网络，更深更宽的神经网络能够更好的拟合输入与输出的函数关系，更少的网络参数能够更快的提取到具有判别性的行为特征，获得更好的分类结果并且增强网络防止过拟合的能力。

步骤四：将卷积神经网络中最后一层的softmax层替换为SVM进行动作的识别分类。