[发明专利]基于竞合网络的双流卷积网络的人体动作识别系统及方法

权利要求书

1.一种基于竞合网络的双流卷积网络的人体动作识别系统，其包括：

视频输入部分，包括待识别视频的视频多帧图像序列以及视频单帧+视频多帧图像序列；

特征提取部分，连接所述视频输入部分，其包括空间流卷积网络与时间流卷积网络，分别对所述视频多帧图像序列与所述视频单帧+视频多帧图像序列中实现动静态像素分割的帧与帧之间的密集光流进行特征提取和分类；

结果融合部分，连接所述特征提取部分，其包括融合网络，将所述时间流卷积网络和所述空间流卷积网络输出的分类结果进行结果融合；

其特征在于，还包括：

竞合网络，包括在所述特征提取部分中，并连接所述时间流卷积网络，其包含的四个网络分别对所述视频单帧+视频多帧图像序列进行训练并实现动静像素分割，输出只包含运动像素的光流图像序列。

2.根据权利要求1所述的一种基于竞合网络的双流卷积网络的人体动作识别系统，其特征在于，所述竞合网络包括静态区域网络、动态区域网络和运动分割网络，所述静态区域网络包括深度估计网络和相机运动网络，所述动态区域网络为光流网络。

3.根据权利要求1所述的一种基于竞合网络的双流卷积网络的人体动作识别系统，其特征在于，所述时间流卷积网络为中等规模卷积网络，所述中等规模卷积网络包括5层卷积层、2层全连接层和一层softmax，其输入图像尺寸为224×224，第一层卷积层的卷积核尺寸为7×7，卷积步长为2，第二层卷积层的卷积核尺寸为5×5，卷积步长为2，第三层至第五层卷积层的卷积核尺寸均为3×3，卷积步长为1。

4.根据权利要求1所述的一种基于竞合网络的双流卷积网络的人体动作识别系统，其特征在于，所述空间流卷积网络为卷积3D网络，所述卷积3D网络具有8个卷积层、5个池化层、两个全连接层以及一个softmax输出层，所有3D卷积滤波器均为3×3×3，步长为1×1×1，池化层1核大小为1×2×2、步长1×2×2，其余所有3D池化层均为2×2×2，步长为2×2×2，每个全连接层有4096个输出单元。

5.根据权利要求1所述的一种基于竞合网络的双流卷积网络的人体动作识别系统，其特征在于，所述融合网络为多类支持向量机，所述多类支持向量机在其损失函数的计算中添加L2范式的正则化惩罚以消除特定权重的模糊性，所述L2范式的正则化惩罚为通过对所有参数进行逐元素的平方惩罚来抑制大数值的权重，公式如下：

式中，W为权重，k表示W中元素的行向量，l表示W中元素的列向量；

多类支持向量机的整体损失函数为：

式中，x_i为第i个数据中包含的图像特征，y_i代表正确类别的标签，f(x_i,W)为线性评分函数以计算不同分类类别的分值，属于第j类的得分为f(x_i,W)_j，N为训练样本的数目，λ为超参数，△为正确类别y_i的得分始终比不正确分类j上的得分所高出的边界值，max函数用以取两者的较大值。