[发明专利]一种融合全局时空特征的卷积神经网络人体动作识别方法

说明书

一种融合全局时空特征的卷积神经网络人体动作识别方法，它属于人体动作识别技术领域。本发明解决了传统动作识别方法存在的动作识别的准确率较低的问题。本发明选用InceptionV3基础网络结构，建立空间通道网络和全局时域通道网络，将UCF101视频数据集切割成单帧静态图像，将单帧静态图像分为训练和测试集对空间通道网络训练和测试；计算训练和测试集中单帧静态图像对应的能量运动历史图，对全局时域通道网络进行训练和测试；对训练好的空间通道网络和全局时域通道网络的参数微调，将概率平均值最大的类别作为待识别视频序列的每帧静态图像的动作识别结果，本发明方法的动作识别准确率可以达到87％以上。本发明可以应用于人体动作识别技术领域用。

技术领域

本发明属于人体动作识别技术领域，具体涉及一种融合全局时空特征的卷积神经网络人体动作识别方法。

背景技术

由于在人机交互、智能交通系统、视频监控等多个领域的巨大需求，人体的动作识别越来越受到计算机视觉领域的重视。为了能使计算机识别来自不同场景的动作，其核心是利用判别特征来表征动作，然后对其进行分类。与静态图像识别不同，除了空间运动特征外，还有更为重要的时间运动特征，那么，如何有效提取动作的空间运动特征和时间运动特征是人体动作识别要解决的两个主要问题。

传统的动作识别方法侧重于手工提取有效的时空特征，然后使用不同的分类器对特征进行分类。基于手工特征的动作识别方法的第一步是提取局部特征，在各种外观特征中，方向梯度直方图(HOG)因其对人体空间运动特征的高鲁棒性和高效性而被广泛研究。受HOG的启发，Laptev等人将HOG与光流相结合，设计了光流直方图(HOF)。此外，HOG还被扩展为HOG-3D来提取时空特征。Wang和Schmid提出融合了HOG、HOF和运动边界直方图(MotionBoundary Histograms，MBH)的密集轨迹算法(Dense Trajectories，DT)。在此基础上，又提出了改进的密集轨迹算法(ImprovedDense Trajectories，iDT)，主要引进了对背景光流的消除方法，使得所提取的运动特征更集中于对人体动作的描述。同时，Harris-3D、Hessian-3D和3D-SIFT等都是常用的局部描述子。

随着CNNs在图像分类领域取得的巨大成功，人们尝试从原始图像通过多层的卷积层和池化层自动学习动作特征。与图像分类相比动作具有时间运动特征，用于动作识别的CNNs通常会比较复杂，大多数基于CNNs的动作识别方法按照两个步骤来实现：首先利用静态图像建立空间CNNs，然后在时间上将它们融合，这就导致动作之间的时间关系丢失，因此Ji等人设计了3D-CNNs架构，提出通过3D卷积核去提取视频数据的时间和空间特征，这些3D特征提取器在空间和时间维度上操作，因此可以捕捉视频流的运动信息，但是动作识别的准确率较低。

发明内容

本发明的目的是为解决传统动作识别方法存在的动作识别的准确率低的问题。

本发明为解决上述技术问题采取的技术方案是：

步骤一、选用InceptionV3为基础网络结构，建立空间通道卷积神经网络；

步骤二、迁移在ImageNet数据集上预训练好的InceptionV3基础网络结构模型的前10层参数至步骤一建立的空间通道卷积神经网络；将UCF101视频数据集切割为单帧静态图像，将切割好的单帧静态图像随机分成训练集和测试集数据，对空间通道卷积神经网络进行训练和测试；

步骤三、采集待识别视频序列，将待识别视频序列切割为每帧静态图像来作为训练集和测试集数据，对步骤二训练好的空间通道卷积神经网络的参数进行微调后，利用训练集和测试集的每帧静态图像对空间通道卷积神经网络进行训练和测试，输出待识别视频序列的每帧静态图像对应的各个类别的概率值P₁,P₂，…，P_N；