[发明专利]3D动作识别方法、装置、计算机可读存储介质及设备

说明书

本发明公开了一种3D动作识别方法、装置、计算机可读存储介质及设备，属于模式识别领域。该方法包括：对训练集包括的视频样本进行解析，每个视频样本解析后得到一系列原始帧图像；对每个视频样本的一系列原始帧图像进行对比度增强和色彩增强，得到每个视频样本的一系列对比度增强图像和一系列色彩增强图像；使用所有视频样本的一系列原始帧图像、一系列对比度增强图像和一系列色彩增强图像对3D卷积神经网络进行训练；使用训练后的3D卷积神经网络进行3D动作识别。本发明既提高了识别性能，又缩短了识别时间。

技术领域

本发明涉及模式识别领域，特别是指一种3D动作识别方法、装置、计算机可读存储介质及设备。

背景技术

现阶段用于动作识别的深度学习方法中，包括基于RGB数据训练的模型以及同时基于RGB和Flow训练的Two-stream模型。

(1)基于视频(RGB)的网络

该方法是直接以视频(或者看做是帧图像)作为输入，直接利用视频帧图的RGB信息，通过一个3D卷积神经网络(3D CNN)实现特征提取和动作识别。

基于RGB的3D CNN，单独依靠RGB信息，对于动作识别来说是单一的，视频中的运动信息不能很好的获取，从而影响整个系统的识别准确率。

(2)基于RGB与Flow的Two-stream网络

双流网络(Two-stream)，是一种基于两种模态(RGB和Flow)的动作识别方法，其中光流(Flow)是一种简单实用的图像运动表达方式，是物体在三维真实世界中的运动在二维图像平面上的表达。

该方法是基于人类视觉皮层观察事物做识别的双流假设建立，人类视觉皮层包含两条路径：腹侧流，用于识别物体；背侧流，用于识别运动信息。类比人类，用于动作识别的双流网络分别建立两个深度学习网络分支，一个用于提取视频RGB特征，一个用于提取视频的Flow特征，然后将两者融合在一起，得到最终的分类结果。该方法认为，通过光流可以捕捉到视频中的运动信息。

Two-stream动作识别方法认为，通过RGB获取人体外形(appearance)信息，通过光流(Flow)获取运动信息或轨迹信息。双模态的利用保证了模型获取信息的全面性，从而提高了系统的识别性能。但通过对Flow数据的分析研究发现，光流(Flow)在动作识别中表现好的原因在于其对图像的表观不变性而非运动轨迹信息。虽然光流对RGB图会有弥补，但光流提取的过程也相当耗时，这也是光流运用中让人困扰的问题。

发明内容

为解决上述技术问题，本发明提供一种3D动作识别方法、装置、计算机可读存储介质及设备，本发明既提高了识别性能，又缩短了识别时间。

本发明提供技术方案如下：

第一方面，本发明提供一种3D动作识别方法，所述方法包括：

对训练集包括的视频样本进行解析，每个视频样本解析后得到一系列原始帧图像；

对每个视频样本的一系列原始帧图像进行对比度增强和色彩增强，得到每个视频样本的一系列对比度增强图像和一系列色彩增强图像；

使用所有视频样本的一系列原始帧图像、一系列对比度增强图像和一系列色彩增强图像对3D卷积神经网络进行训练；

使用训练后的3D卷积神经网络进行3D动作识别。

进一步的，所述色彩增强包括：

对每一幅原始帧图像，按照R、G、B三个颜色通道分别计算均值和标准差；

在所有原始帧图像上计算协方差矩阵并进行特征值分解，得到特征向量和特征值；

对每一幅原始帧图像进行PCA变换，并对主成分做一个高斯扰动，得到色彩增强图像。