[发明专利]一种基于双流深度神经网络的人体行为识别方法

说明书

本发明公开了一种基于双流深度神经网络的人体行为识别方法，旨在解决深度学习运用在视频识别中存在的技术问题。其包括：根据原始视频数据集获得多个RGB图像序列；利用训练好的空间域行为识别模型和时间域行为识别模型分别处理RGB图像序列，获得空间域识别类型概率矩阵和时间域识别类型概率矩阵；利用均值融合模型对空间域识别类型概率矩阵和时间域识别类型概率矩阵进行概率融合，获得原始视频数据集对应的人体行为识别结果。本发明能够有效提高人体行为识别精准度，并且具有良好的泛化性能。

技术领域

本发明涉及一种基于双流深度神经网络的人体行为识别方法，属于计算机视觉技术领域。

背景技术

近年来，随着监控视频、互联网的视频检索处理、人机交互、虚拟现实、医疗保健、智能安防等技术的发展，从视频中识别人体行为受到了越来越多的计算机视觉研究者的关注，由于受到视频遮挡、动态背景、移动摄像头、视角和光照变化等因素的影响，视频人体行为识别较为困难，具有很大的挑战性。

随着CNN对静态图像分类识别的成功应用，计算机性能的不断提升、GPU行业的快速发展、互联网上的视频数据集的激增，越来越多的研究人员开始将深度学习运用在视频领域的识别中，目前最为常用的视频识别网络架构有3D卷积网络和双流网络，但是3D卷积网络普遍存在参数量大，难以训练，且训练数据集小易造成过拟合等问题；而双流网络则存在光流提取耗时长，且整体网络无法做到端到端等不足。

发明内容

针对深度学习运用在视频识别中存在的问题，本发明提出了一种基于双流深度神经网络的人体行为识别方法，通过时间流和空间流的双流深度神经网络进行人体行为识别，并对双流神经网络的识别结果进行融合，从而得到准确率更高的人体识别结果。

为解决上述技术问题，本发明采用了如下技术手段：

本发明提出了一种基于双流深度神经网络的人体行为识别方法，包括如下步骤：

根据原始视频数据集获得多个待识别的RGB图像序列，并对每个待识别的RGB图像序列进行预处理；

利用训练好的空间域行为识别模型和时间域行为识别模型分别处理每个预处理后的RGB图像序列，获得空间域识别类型概率矩阵和时间域识别类型概率矩阵；

利用均值融合模型对空间域识别类型概率矩阵和时间域识别类型概率矩阵进行概率融合，获得原始视频数据集对应的人体行为识别结果。

进一步地，所述空间域行为识别模型利用(2+1)D Resnet构建而成；所述时间域行为识别模型利用基于梯度中心化改进的PWC-Net和(2+1)D Resnet级联构建而成。

进一步地，所述基于梯度中心化改进的PWC-Net包括6级特征金字塔网络层、特征扭曲层、代价容量层、光流提取层和上下文网络层；所述(2+1)D Resnet包括五个卷积层、一个自适应3D全局池化层、一个全连接层和一个Softmax分类器。

进一步地，所述时间域行为识别模型的训练过程如下：

利用第一公共数据集对基于梯度中心化改进的PWC-Net进行网络训练，获得训练好的基于梯度中心化改进的PWC-Net；

利用第一公共数据集对(2+1)D Resnet进行网络预训练，获得预训练后的(2+1)DResnet；

利用训练好的基于梯度中心化改进的PWC-Net处理第二公共数据集，获得含有人体行为运动信息的光流帧序列；

利用光流帧序列对预训练后的(2+1)D Resnet进行网络训练，获得训练好的时间域行为识别模型。

进一步地，基于梯度中心化改进的PWC-Net的网络训练过程中，在每个迭代阶段，基于Adam优化算法计算权值梯度，并利用Adam优化算法计算的权值梯度减去当前阶段的权值梯度的均值，获得网络权值更新的差值。