[发明专利]基于卷积神经网络特征编码的人体动作识别方法

摘要

本发明提出了一种基于卷积神经网络特征编码的人体动作识别方法，主要解决现有技术计算复杂、准确率低的问题。实现方案是：利用TV‑L1得到视频光流图；分别从视频空间方向和光流动作方向依次进行卷积神经网络、局部特征累积编码、降维白化处理、VLAD向量处理，获取空间方向VLAD向量和动作方向VLAD向量；合并视频空间和光流动作两个方向信息得到人体动作分类数据，然后进行分类处理。本发明对卷积特征进行局部特征累积编码，使本发明在处理复杂背景数据时提高了识别率并减少了计算量，融合视频和光流VLAD向量获取的特征对环境变化具有更高的鲁棒性，可用于小区、商场以及保密场所等区域对监控视频中的人体动作进行检测识别。

主权项

1.一种基于卷积神经网络特征编码的人体动作识别方法，其特征在于，包括有如下步骤：(1)针对人体动作数据集选择视频对应的空间方向和光流对应的动作方向两个流向来进行信息处理；(2)在动作方向首先获取人体运动光流图：输入人体运动数据集中视频，对其利用稠密光流TV‑L1进行处理，获取人体运动数据集中视频的光流图，对两个方向分别进行卷积特征图获取、局部特征累积编码、降维白化处理、VLAD向量处理；(3)调整视频和光流图大小：对从空间方向的人体运动数据集中获取视频的每帧图像和从动作方向得到的光流图分别进行调整，调整单帧图像到大小为224×224像素；(4)获取空间方向视频和动作方向光流图的卷积特征图：(4a)卷积神经网络CNN有11层，这11层依次是卷积层conv1，池化层pool1,卷积层conv2，池化层pool2,卷积层conv3,卷积层conv4,卷积层conv5，池化层pool5,全连接层fc6，全连接层fc7，分类层Softmax；(4b)在空间方向获取视频图像卷积特征图：将空间方向已调整大小的人体运动数据集中每个视频的所有帧图像输入卷积神经网络CNN，视频是由多帧图像链接而成的，图像从卷积神经网络CNN输入层经过逐级的变换，传送到卷积神经网络CNN输出层，每一张图像从池化层pool5获取512张6×6像素大小的特征图；(4c)在动作方向获取光流图卷积特征图：将动作方向已调整大小的光流图输入卷积神经网络CNN，光流图从卷积神经网络CNN输入层经过逐级的变换，传送到卷积神经网络CNN输出层，每一张光流图从池化层pool5获取512张6×6像素大小的特征图；(5)获取局部特征累积描述子：对空间方向获取的卷积特征和动作方向获取的卷积特征均利用局部特征累积编码方式进行编码分别得到空间方向的局部特征累积描述子和动作方向的局部特征累积描述子；(6)降维白化处理：将空间方向的局部特征累积描述子和动作方向的局部特征累积描述子分别输入主成分分析PCA中进行降维白化处理；(7)在空间方向和动作方向分别获取局部特征聚合描述符VLAD向量：(7a)降维白化后的局部特征累积描述子通过K均值K‑means聚类，学习得到k个聚类中心(c₁,...,c_j,...,c_k),j∈[1,k]；(7b)空间方向的每个视频和动作方向的光流分别获取局部特征聚合描述符VLAD向量并分别对获取的VLAD向量进行L2归一化；(8)合并两个方向信息得到人体动作分类数据：将空间方向视频获取的VLAD向量和动作方向对应光流获取的VLAD向量进行合并，得到人体动作分类数据；(9)利用支持向量机分类器分类处理人体动作分类数据；(9a)将人体动作分类数据分成两部分，分别作为训练样本和测试样本；(9b)用训练样本训练支持向量机分类器得到分类模型；(9c)用分类模型对测试样本进行人体动作分类，获得所输入的人体动作的识别结果。