[发明专利]基于递归神经网络和人体骨架运动序列的行为识别方法

说明书

本发明公开一种基于递归神经网络的人体骨架运动序列行为识别方法，包括以下步骤：对已经提取好的人体骨架姿态序列中节点坐标进行归一化，以消除人体所处绝对空间位置对识别过程的影响，利用简单平滑滤波器对骨架节点坐标滤波以提高信噪比，最后将平滑后的数据送入一个层次化双向递归神经网络进行深度特征提取及识别，同时提供了一种层次化单向递归神经网络模型以应对实际中的实时在线分析需求。该方法主要优点是根据人体结构特征及运动的相对性，设计端到端的分析模式，在实现高精度识别率的同时避免复杂的计算，便于实际应用。该发明对于基于深度摄像机技术的智能视频监控、智能交通管理及智慧城市等领域具有重要意义。

技术领域

本发明涉及计算机视觉、模式识别和神经网络技术领域，特别涉及一种利用递归神经网络实现端到端的基于人体骨架运动序列的行为识别方法。

背景技术

随着人工智能技术的发展，智能机器人，如谷歌的无人驾驶汽车、百度的无人驾驶自行车等，即将走入人们的生活，以及智慧城市、智能交通及智能监控领域等，这些都需要计算机对人的行为进行自动分析。近年来，深度摄像技术结合高精度的人体骨架估计算法，可以提供人体运动过程对应的骨架运动信息，基于骨架运动序列可以进行精确的行为识别。

当前基于骨架节点的行为识别算法主要是在手工特征提取的基础上设计分类器来实现行为识别，其中运动动态信息的手工提取非常麻烦，不利于实际应用。而且，传统方法的训练及测试多是在小数据集上进行，当数据量增大时，其整体计算复杂度对于一般的硬件条件将难以承受，难以发挥基于骨架的行为识别在实际应用中的价值。

发明内容

为了解决上述现有技术中存在的问题，本发明的目的是提供一种端到端的基于递归神经网络和人体骨架运动序列的行为识别方法，不需要复杂的处理，即可根据人体骨架运动序列对其行为进行识别。

本发明提出的一种利用递归神经网络解决基于骨架节点的行为识别方法包括以下步骤：

步骤S1，从训练深度视频中估计得到人体运动对应的人体骨架运动序列；

步骤S2，对于所述人体骨架运动序列进行归一化；

步骤S3，对于归一化后的人体骨架运动序列进行滤波；

步骤S4，将所述人体骨架运动序列数据划分为M个部分，并将其分别送入相应数量的并行的单隐含层双向递归神经网络中进行特征提取；

步骤S5，对于M个单隐含层双向递归神经网络在同一时刻的输出进行局部融合，得到N个序列值，输入到下一层N个并行的单隐含层双向递归神经网络中进行特征提取，提取得到的特征即为N个单隐含层双向递归神经网络的输出，其中，N＜M；

步骤S6，对于得到的新的特征重复步骤S5进行局部融合，直至得到一个关于整个人体运动的序列值，并将其送入一个由LSTM神经元构成的双向递归神经网络，以得到对于人体运动动态的表达；

步骤S7，将所述步骤S6得到的网络输出送入全连接层，并根据所述全连接层的输出得到类属概率；

步骤S8，根据所述步骤S7中得到的类属概率的最大值来判定输入序列所属的类别；

步骤S9：如所述步骤S1-S3所述，得到待识别深度视频的人体骨架运动序列，并对其进行归一化和滤波；

步骤S10：如所述步骤S4-S8所述，将归一化和滤波后的人体骨架运动序列送入层次化双向递归神经网络，得到所述人体骨架运动序列的类属概率；

步骤S11：根据所述步骤S10得到的类属概率最大值判定所述待识别深度视频所属的行为类别。