[发明专利]基于竞合网络的双流卷积网络的人体动作识别系统及方法

说明书

本发明公开一种基于竞合网络的双流卷积网络的人体动作识别系统及方法，所述系统包括视频输入部分、特征提取部分和结果融合部分，其中特征提取部分还包括竞合网络。所述方法为：将视频输入双流架构的网络，其中时间流部分通过竞合网络对视频帧进行动静像素分割，输出剔除静态区域的光流图像，并输入到中等规模卷积网络，对光流图像进行特征提取；空间流部分将多帧视频图像输入卷积3D网络，对每一帧视频图像进行特征提取；分别在所述中等规模卷积网络和卷积3D网络的softmax层对提取的特征进行特征分类，然后采用多类支持向量机将分类结果进行分数融合，得到人体动作的正确识别，由此减少由环境等外部差异带来的误差，提升动作识别准确度。

技术领域

本发明涉及计算机视觉领域，具体涉及人体动作识别的分析研究，更具体地涉及一种基于竞合网络架构的双流卷积网络的人体动作识别系统及方法。

背景技术

在信息社会中，图片信息和视频信息在所有感官信息中占到很大比重。计算机视觉是运用照相机和计算机来获取有关被拍摄对象的数据与信息的学科，能够对图片信息和视频信息进行自动、高效的处理，因此，计算机视觉领域受到了越来越多的关注，在这一领域中，人体动作识别是一个重要的研究方向，不论是智能监控、视频安防还是虚拟现实技术，都需要人体动作识别技术的支持。在众多人体动作识别技术中，双流卷积网络通过模拟人体的视觉感受以及对视频信息的理解，不仅对图像的空间信息进行提取，还对视频帧序列中的时间信息进行了理解。

人体动作识别的一般步骤为：首先对视频进行运动目标检测，再对检测出的运动目标进行特征提取，最后将提取特征进行分类识别。传统的动作识别方法往往从二维入手进行研究，但效果并不理想。近年来，深度学习的发展及其在人体动作识别方面的应用，提出了许多关于自动提取特征的方法，也进一步提高算法的识别率。用深度学习方法解决视频中动作识别的问题解决思路有三种，分别是：双流方法，C3D(Convolutional 3DNetwork)方法以及CNN-LSTM(CNN-Long Short-Term Memory)。其中，双流方法就是应用双流卷积网络分别处理视频中的空间维度和时间维度信息，双流卷积网络分为空间流卷积网络和时间流卷积网络。RGB图像作为空间流卷积网络的输入，光流图像作为时间流卷积网络的输入，通过多任务训练的方法联合数据集，去除过拟合，进而提高识别准确率。

但双流卷积网络的光流场受遮挡、多视角、光照、背景等环境差异影响较大，影响动作识别的准确度。同时光流图像是对整个视频进行的处理，视频中的静态区域会对时间流卷积网络产生噪音干扰。而竞合(Competitive Collaboration)网络的提出刚好可以解决此问题，竞合网络将深度估计网络、相机运动网络、光流网络和运动分割网络联系在一起进行网络改进，可解决运动区域与静态区域分割问题。

因此，本发明提出一种应用竞合网络，能够有效去除视频帧中静态像素对动态像素的干扰，减少由环境等外部差异带来的误差，并准确的对视频中人体动作进行识别的方法。

发明内容

本发明提供一种基于竞合网络的双流卷积网络的人体动作识别系统和方法，通过使用卷积3D网络和光流网络的双流网络架构，将竞合网络融入到光流网络中，对视频帧进行动静态区域分割。竞合网络中的光流网络输出只含动态像素的光流图作为时间流卷积网络的输入，以去除环境噪音，提升人体动作识别准确度。同时竞合网络内部的由深度网络和相机运动网络组成的静态区域网络和光流网络所代表的动态区域网络会联合起来对运动分割网络进行训练，使之在分割动静态区域方面更加准确，减少了由环境等外部差异带来的误差。

为达到上述目的，本发明提供了一种基于竞合网络的双流卷积网络的人体动作识别系统，其包括：

视频输入部分，包括待识别视频的视频多帧图像序列以及视频单帧+视频多帧图像序列；

特征提取部分，连接所述视频输入部分，其包括空间流卷积网络与时间流卷积网络，分别对所述视频多帧图像序列与所述视频单帧+视频多帧图像序列中实现动静态像素分割的帧与帧之间的密集光流进行特征提取和分类；