[发明专利]一种基于卷积神经网络的动作识别方法

说明书

本发明涉及一种基于卷积神经网络的动作识别方法。不同于常见的以二维图像特征为输入的长短期记忆模型动作识别方法，本发明采用三维卷积核构建的骨干网络对图像序列进行特征提取，在保留空间特征的情况下引入时序特征。与此同时，通过三维空间下的批标准化操作对特征进行处理，避免模型训练过程中出现梯度消失现象。将骨干网络提取到的时空混合特征送入经过改进的长短期记忆模型并输出表征动作类别的一维向量。该方法通过对人类动作时空信息的有效提取以更好地保留目标的动作特征，从而实现以视频帧序列作为信息源的目标动作识别功能。

技术领域

本发明涉及计算机视觉技术领域，具体为一种基于卷积神经网络的动作识别方法。

背景技术

动作识别技术是指机器人等智能系统根据摄像头、激光雷达等传感器获得人类目标动作信息进行特征提取并对动作进行分类识别的技术。动作识别技术是机器人等智能系统在环境感知及场景理解中需要解决的关键技术问题之一。

在以摄像头为传感器的计算机视觉方向，动作识别问题与图像识别(或目标检测)问题最大的不同之处在于后者只需要获取图像中的二维空间特征信息，而前者除了需要获取二维空间特征信息之外，还要提取时间序列特征信息。这使得动作识别问题相较二维图像处理问题更加具有挑战性。一般的卷积神经网络特征提取框架和分类器是针对二维空间信息输入的，如何同时提取空间特征信息和时间序列特征信息并对其进行合适的表达，是智能系统执行动作识别任务中的难点问题。设计一种能够同时对时间信息以及空间信息进行有效提取的神经网络算法，有效地对目标动作进行识别，具有重要的现实意义。同时也是完善智能系统对环境感知所须解决的关键技术问题。

发明内容

鉴于现有技术中所存在的问题，本发明公开了一种基于卷积神经网络的动作识别方法，提供了一种高效的神经网络模型，能够同时有效的对人类目标的空间特征信息和时间特征信息进行提取并依据提取到的特征信息对目标动作进行准确识别。其采用的技术方案为，该神经网络基于长短期记忆模型，在保留原有的遗忘门、输入门和输出门结构的基础上，将原先的以二维卷积核为特征提取器的卷积神经网络结构改为由三维卷积核为特征提取器的卷积神经网络结构，同时在网络的激活层之前根据输入维度引入相应的批标准化处理层。

该方法中，由基本结构为三维卷积核的三维卷积神经网络对视频片段中目标的动作特征在时空维度中初步提取，将提取到的特征图送入带批标准化处理层的长短期记忆模型单元，通过若干上述步骤在时间维度上的拼接，最终由长短期记忆模型的输出门输出目标的动作类别。

作为本发明的一种优选方案，通过三维卷积核构建的ConvNet骨干网络对图像序列进行卷积操作，不对单幅图像进行卷积操作，设训练样本的一个批次总样本数为N,单个样本特征图序列深度为D,特征图高度为H,特征图宽度为W,令p,d,k,s分别为特征图外围补充像素数，卷积核膨胀系数，卷积核尺寸以及卷积核移动步长，则三维卷积操作后的特征图参数有如下表示：

对得到的特征图展成的特征向量，在进入长短期记忆模型模型后，在长短期记忆模型单元中的激活函数之前，引入批次标准化变换，使得输入特征向量在坐标轴上分布更均匀，避免特征在单一长短期记忆模型上产生梯度消失现象，设x为包含n个样本的输入向量，μ(x)为样本均值，σ(x)为样本标准差，x_input为经过批标准化处理的待输入特征向量，则有如下关系：

式(6)中，γ和β分别是通过网络训练学习到的参数。

在训练阶段，所述均值μ(x)与所述方差σ(x)通过每一批训练数据产生，在预测阶段，无法预先获取整个批次样本值，所述均值μ(x)与所述方差σ(x)通过对全部训练样本求均值与方差得到。