[发明专利]基于多流LSTM的动作识别方法

说明书

本发明公开了基于多流LSTM的动作识别方法；获取由关节点表示的人体动作序列；对所述动作序列进行视角预处理，并对视角预处理结果进行特征提取；对所述动作序列进行动态属性萃取，并对动态属性萃取结果进行特征提取；分别对所述视角预处理结果和动态属性萃取结果进行特征提取，并对提取的特征进行特征融合；分别利用提取的特征以及融合的特征进行动作识别；再对识别结果进行决策融合，最终得到动作的识别结果；本发明整合了动作序列的空间特性和时间特性，融合了动作的静态特性和动态特性，动作识别的精度高，稳定性好，所需的训练数据少，收敛性速度快，适合处理复杂的动作类型。

技术领域

本发明涉及视频图像处理领域，具体涉及一种基于多流LSTM的动作识别方法，用于对动作进行识别。

背景技术

目前，动作识别方法可分为两类：一类是以传统机器学习为基础的方法，该类方法的核心是人工构建出描述动作属性的特征，然后训练分类器，最后进行动作分类；另一类是基于深度学习的方法，该类方法以目标为导向，通过数据训练，自动学习特征，往往具有更好的区分性。

传统动作识别方法的主要缺点是必须人工构建动作特征，且无法保证特征的区分效果。

目前，动作识别基于深度学习的方法主要有两类：一类是以RGB信息为输入，采用CNN(卷积神经网络)构架的方法；另一类主要以深度相机获取的人体骨架关节点数据为输入，采用基于LSTM(长短期记忆)的RNN(循环神经网络)架构的方法。

基于深度学习的方法，训练模型所需的数据量较大，而实际可用的数据往往较少；基于CNN的方法主要获取动作的静态特性，无法获取动作的时序特性；基于LSTM的方法虽获取了动作的时序特性，但无法萃取肢体变化所带来的动态特性，而动态特性在动作识别中具有重要的作用；动作的静态特性和动态特性在动作识别上各自具有优势和局限，目前采用的方法无法有效整合这两类特性，导致动作识别效率低、识别效果差。

发明内容

本发明的目的在于：提供一种基于多流LSTM的动作识别方法，解决了无法有效整合动作的静态特性和动态特性导致动作识别效率低、识别效果差的技术问题。

本发明采用的技术方案如下：

基于多流LSTM的动作识别方法，包括以下步骤：

步骤1：利用深度相机对人体骨架关节点的坐标数据进行采集，得到由所述关节点表示的动作序列；

步骤2：对所述动作序列进行视角预处理，并利用特征提取模型A对视角预处理结果进行特征提取；

步骤3：对所述动作序列进行动态属性萃取，并利用特征提取模型B对动态属性萃取结果进行特征提取；

步骤4：利用特征提取模型C分别对所述视角预处理结果和动态属性萃取结果进行特征提取，并对提取的特征进行特征融合；

步骤5：分别利用所述步骤2和步骤3提取的特征以及步骤4中融合的特征进行动作识别；

步骤6：对所述步骤5得到的识别结果进行决策融合，最终得到动作的识别结果。

进一步的，所述特征提取模型A、特征提取模型B、特征提取模型C的获取方法如下：

S001：利用深度相机采集人体骨架关节点的坐标数据，得到训练样本；

S002：对所述训练样本进行视角预处理，以视角预处理结果为输入，构建三层LSTM网络，并对所述三层LSTM网络进行训练，得到特征提取模型A；

S003：对所述训练样本进行动态属性萃取，以动态属性萃取结果为输入，构建三层LSTM网络，并对所述三层LSTM网络进行训练，得到特征提取模型B；