[发明专利]一种基于关键帧提取和层次性表述的视频行为识别方法

权利要求书

1.一种基于关键帧提取和层次性表述的视频行为识别方法，其特征在于，包括：

步骤1)用循环神经网络滑动过整段视频，提取关键帧特征；

步骤2)将所述关键帧特征送入时域卷积神经网络，提取整段视频的表述特征；以及

步骤3)进行视频行为分类。

2.根据权利要求1所述的视频行为识别方法，其特征在于，所述步骤1)包括通过循环神经网络在视频中滑动来抽取每个视频结构单元的关键帧特征；在单个视频结构单元中，输入图像通过卷积神经网络抽取深度表述特征，然后输入到循环神经网络进行关键帧判定。

3.根据权利要求1所述的视频行为识别方法，其特征在于，所述循环神经网络包含图片特征提取层、隐状态层和判定输出模块，在单个视频结构单元中，所述输入图像经过所述图片特征提取层提取深度表述特征，记为F_p；将F_p进行时序信息关联和处理，经过隐状态层11运算，输出中间隐特征H_p；将H_p输入到关键帧检测网络层，得到关键帧检测结果，即该帧是否为关键帧的判定P_k。

4.根据权利要求1所述的视频行为识别方法，其特征在于，在所述步骤2)中，将从步骤1)提取的所述关键帧特征输入到所述时域卷积神经网络中，进行时间域卷积运算提取整段视频的表述特征F_v，其中，时间域卷积过程可以表述为下式(1)：

其中，为视频表述特征F_v第j个通道的输出，f_i为时间卷积第i个通道的输入，共有m个输入通道，为第i个卷积核。

5.根据权利要求1所述的视频行为识别方法，其特征在于，在所述步骤3)中，将所述步骤2)所得的所述整段视频的所述表述特征送入到行为分类层进行运算，最后输出行为类别预测结果，其中，所述行为分类层包括2个512*512的全连接层。

6.一种基于关键帧提取和层次性表述的视频行为识别设备，其特征在于，包括中层关键帧提取模块和高层视频表述模块，其中，

中层关键帧提取模块，用于从整段视频提取关键帧特征；以及

高层视频表述模块，用于将所述关键帧特征送入时域卷积神经网络，提取整段视频的表述特征。

7.根据权利要求1所述的视频行为识别设备，其特征在于，所述中层关键帧提取模块用于，通过循环神经网络在视频中滑动来抽取每个视频结构单元的关键帧特征；在单个视频结构单元中，输入图像通过卷积神经网络抽取深度表述特征，然后输入到循环神经网络进行关键帧判定。

8.根据权利要求7所述的视频行为识别设备，其特征在于，所述循环神经网络包括图片特征提取层、隐状态层和判定输出模块，在单个视频结构单元中，所述输入图像经过所述图片特征提取层提取深度表述特征，记为F_p；将F_p进行时序信息关联和处理，经过隐状态层11运算，输出中间隐特征H_p；将H_p输入到关键帧检测网络层，得到关键帧检测结果，即该帧是否为关键帧的判定P_k。

9.根据权利要求1所述的视频行为识别设备，其特征在于，高层视频表述模块，用于将提取的所述关键帧特征输入到所述时域卷积神经网络中，进行时间域卷积运算提取整段视频的表述特征F_v，其中，时间域卷积过程可以表述为下式(1)：

其中，为视频表述特征F_v第j个通道的输出，f_i为时间卷积第i个通道的输入，共有m个输入通道，为第i个卷积核。

10.根据权利要求1所述的视频行为识别设备，其特征在于，还包括行为分类层，用于进行视频行为分类。