[发明专利]一种基于深度学习的人体动作识别方法和系统

说明书

本发明公开了一种基于深度学习的人体动作识别方法，包括：获取视频序列中的连续两帧图像，将该连续两帧图像输入已训练的人体动作识别模型中，以得到人体动作识别结果，人体动作识别模型是通过以下步骤生成：获取数据集中视频序列中的连续两帧图像，利用光流提取方法从获取的连续两帧图像中提取光流图像，对视频序列中所有剩余帧，重复执行上述过程，将视频序列和光流图像序列平均分成T段，从视频序列的每一段中提取单帧图像，并从光流图像序列的每一段中提取连续的L帧光流图像。本发明能够解决现有人体动作识别方法中由于提取网络的深度较浅以及没有考虑特征之间的时序关系，会导致提取的特征不利于分类、识别准确率低的技术问题。

技术领域

本发明属于深度学习技术领域，更具体地，涉及一种基于深度学习的人体动作识别方法和系统。

背景技术

传统的人体动作识别是将生物传感器或者力学传感器等采集设备加装到人的身上，是一种接触式的动作检测方法，会给人带来反感或者疲惫感。随着技术的发展，这种识别模式已逐渐被基于图像的识别方法所替代。

深度学习的提出使得机器学习取得突破性的进展，也为人体动作识别带来了新的发展方向。不同于传统的识别方法，深度学习能够自动地从低层次的特征中学习出高层次的特征，解决了特征选取过于依赖任务本身和调整过程耗时长的问题。

双流(Two-Stream)卷积神经网络模型是现有基于深度学习的人体动作识别方法中一种广泛使用的方法，其通过效仿人体视觉过程，对视频信息理解，在处理视频图像中的环境空间信息的基础上，对视频帧序列中的时序信息进行理解，为了更好地对这些信息进行理解，双流卷积神经网络将异常行为分类任务分为两个不同的部分。单独的视频单帧作为表述空间信息的载体，其中包含环境、视频中的物体等空间信息，称为空间信息网络；另外，光流信息作为时序信息的载体输入到另外一个卷积神经网络中，用来理解动作的动态特征，称为时间信息网络。

然而，现有的双流卷积神经网络模型存在一些不可忽略的技术问题：第一、其特征提取网络的深度较浅，这可能会导致提取的特征不利于分类，识别准确率低；第二、其没有考虑特征之间的时序关系，也会导致分类的结果不佳，进一步降低识别的准确率。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于深度学习的人体动作识别方法和系统，其目的在于，解决现有人体动作识别方法中由于提取网络的深度较浅以及没有考虑特征之间的时序关系，会导致提取的特征不利于分类、识别准确率低的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于深度学习的人体动作识别方法，包括以下步骤：

(1)获取视频序列中的连续两帧图像；

(2)将该连续两帧图像输入已训练的人体动作识别模型中，以得到人体动作识别结果。

优选地，所述人体动作识别模型是通过以下步骤生成：

(1)获取数据集中视频序列中的连续两帧图像，利用光流提取方法从获取的连续两帧图像中提取光流图像；

(2)对视频序列中所有剩余帧，重复执行上述过程，从而得到光流图像序列，将视频序列和光流图像序列平均分成T段，从视频序列的每一段中提取单帧图像，并从光流图像序列的每一段中提取连续的L帧光流图像；其中T和L都是自然数。

(3)将步骤(2)从视频序列的每一段中提取的单帧图像和L帧光流图像分别输入到空间流残差网络模型和时间流残差网络模型中，以分别获取多个外观特征和多个运动特征，将多个外观特征按照其对应的多个单帧图像在视频序列中出现的时间先后顺序进行排列，从而形成外观特征集合，将多个运动特征按照其对应的多个光流图像在光流图像序列中出现的时间先后顺序进行排列，从而形成运动特征集合；