[发明专利]3D动作识别方法、装置、计算机可读存储介质及设备

权利要求书

1.一种3D动作识别方法，其特征在于，所述方法包括：

对训练集包括的视频样本进行解析，每个视频样本解析后得到一系列原始帧图像；

对每个视频样本的一系列原始帧图像进行对比度增强和色彩增强，得到每个视频样本的一系列对比度增强图像和一系列色彩增强图像；

使用所有视频样本的一系列原始帧图像、一系列对比度增强图像和一系列色彩增强图像对3D卷积神经网络进行训练；

使用训练后的3D卷积神经网络进行3D动作识别。

2.根据权利要求1所述的3D动作识别方法，其特征在于，所述色彩增强包括：

对每一幅原始帧图像，按照R、G、B三个颜色通道分别计算均值和标准差；

在所有原始帧图像上计算协方差矩阵并进行特征值分解，得到特征向量和特征值；

对每一幅原始帧图像进行PCA变换，并对主成分做一个高斯扰动，得到色彩增强图像。

3.根据权利要求1或2所述的3D动作识别方法，其特征在于，所述对比度增强包括：

对每一幅原始帧图像，将其转换为R、G、B分量图像；

对所述R、G、B分量图像做直方图均衡化处理；

将直方图均衡化处理后的R、G、B分量图像组合成RGB图像，得到对比度增强图像。

4.根据权利要求3所述的3D动作识别方法，其特征在于，所述使用所有视频样本的一系列原始帧图像、一系列对比度增强图像和一系列色彩增强图像对3D卷积神经网络进行训练，包括：

将每个视频样本的一系列原始帧图像、一系列对比度增强图像和一系列色彩增强图像分别保存一个训练数据，所述训练数据包括视频样本数、图像的帧数、图像的大小和通道数；

使用所有视频样本的训练数据对3D卷积神经网络进行训练。

5.根据权利要求3所述的3D动作识别方法，其特征在于，所述3D卷积神经网络依次包括第一卷积层、第一Max-Pooling层、第二卷积层、第三卷积层、第二Max-Pooling层、第一Inception模块、第二Inception模块、第三Max-Pooling层、第三Inception模块、第四Inception模块、第五Inception模块、第六Inception模块、第七Inception模块、第四Max-Pooling层、第八Inception模块、第九Inception模块、Avg-Pooling层、全连接层、Softmax层。

6.一种3D动作识别装置，其特征在于，所述装置包括：

图像获取模块，用于对训练集包括的视频样本进行解析，每个视频样本解析后得到一系列原始帧图像；

图像增强模块，用于对每个视频样本的一系列原始帧图像进行对比度增强和色彩增强，得到每个视频样本的一系列对比度增强图像和一系列色彩增强图像；

训练模块，用于使用所有视频样本的一系列原始帧图像、一系列对比度增强图像和一系列色彩增强图像对3D卷积神经网络进行训练；

识别模块，用于使用训练后的3D卷积神经网络进行3D动作识别。

7.根据权利要求6所述的3D动作识别装置，其特征在于，所述色彩增强包括：

第一计算单元，用于对每一幅原始帧图像，按照R、G、B三个颜色通道分别计算均值和标准差；

第二计算单元，用于在所有原始帧图像上计算协方差矩阵并进行特征值分解，得到特征向量和特征值；

变换单元，用于对每一幅原始帧图像进行PCA变换，并对主成分做一个高斯扰动，得到色彩增强图像。

8.根据权利要求6或7所述的3D动作识别装置，其特征在于，所述对比度增强包括：

转换单元，用于对每一幅原始帧图像，将其转换为R、G、B分量图像；

处理单元，用于对所述R、G、B分量图像做直方图均衡化处理；

组合单元，用于将直方图均衡化处理后的R、G、B分量图像组合成RGB图像，得到对比度增强图像。