[发明专利]结合3D跃层连接和循环神经网络的人体行为识别方法

权利要求书

1.一种结合3D跃层连接和循环神经网络的人体行为识别方法，其特征在于包括如下步骤：

步骤1，将每段视频划分为N部分，从每部分提取L帧图片，N、L均为自然数；从每部分提取L帧图片的内容是：将一个视频按帧数平均划分为N＝3部分，每部分包含相同帧数，并从每部分中等间隔提取L＝16帧图片；

步骤2，利用训练好的3D卷积神经网络对视频进行时空特征提取，并将不同层次的时空特征进行串联连接得到高维特征向量；具体过程是：

迁移学习：利用训练好的C3D网络的卷积和池化层作为特征提取器，对步骤1中每个16帧输入进行时空特征提取，得到pool5num维的输出向量，对整个视频进行时空特征提取，提取后结果用二维张量(3，pool5num)表示，其中，pool5num表示特征提取器池化层5的输出维度；

串联连接：对每个16帧输入，将特征提取器的池化层1、池化层2、池化层3和池化层5的输出进行串联连接，得到poolall_num维的特征向量，对整个视频进行特征串联连接操作，串联连接后的结果用二维张量(3，poolall_num)表示，其中，poolall_num＝pool1num+pool2num+pool3num+pool5num，pool1num，pool2num，pool3num分别表示特征提取器池化层1、池化层2、池化层3的输出维度；

步骤3，对步骤2得到的高维特征向量进行规范化处理；进行规范化处理的具体过程是：

在整个训练集上求取步骤2中高维特征向量的每个维度的均值E[x^(k)]与方差Var[x^(k)]，然后对特征向量的每个维度进行标准化，标准化公式为：

其中，x^(k)表示激活值，表示标准化处理后的值；

然后，用如下公式对进行转化，得到通过γ^(k)和β^(k)变化后的新值y^(k)，则y^(k)表示经过规范化处理后的特征值：

其中，γ^(k)和β^(k)均为循环神经网络参数，由网络学习得到；

步骤4，将步骤3中规范化处理后的高维特征向量送入循环神经网络，进行特征融合；具体内容是：将经过规范化处理后的二维张量(3，poolall_num)送入循环神经网络，其中，循环神经网络的时间步长为3，包含一个隐层，隐层中包含的神经元数目为256；

步骤5，对步骤4中融合后的特征进行分类，得到视频对应的动作类别。

2.如权利要求1所述的结合3D跃层连接和循环神经网络的人体行为识别方法，其特征在于：所述步骤1中，若视频总帧数小于48帧则舍弃该视频，若视频总帧数不能被L整除，则舍弃最后几帧。

3.如权利要求1所述的结合3D跃层连接和循环神经网络的人体行为识别方法，其特征在于：所述步骤5中，利用多类Softmax分类器，对步骤4中循环神经网络的输出进行线性分类。