[发明专利]一种基于关键帧提取的视频行为识别方法

权利要求书

1.一种基于关键帧提取的视频行为识别方法，包括以下步骤：

1)将视频切成图片序列，提取所述图片序列的一维特征；

2)从所述图片序列中选取满足至少一个预定义长度帧的图片序列，形成候选帧；

3)从所述候选帧中选取至少一个关键帧；

4)将所述选取的至少一个关键帧所对应的一维特征池化；

5)从所述池化后的关键帧中进行识别。

2.根据权利要求1所述的方法，其特征还在于，所述提取图片序列的一维特征包括，先采用2D卷积神经网络提取出大小相同的二维特征，将二维特征拼接起来，再经由3D卷积神经网络得到一维特征。

3.根据权利要求2所述的方法，其特征还在于，所述2D卷积神经网络包括采用全部相同的权重。

4.根据权利要求1所述的方法，其特征还在于，所述预定义长度帧包括N个(N≥1)不同长度的帧。

5.根据权利要求1所述的方法，其特征还在于，选取满足至少一个预定义长度帧的图片序列包括连续或不连续的图片序列。

6.根据权利要求1所述的方法，其特征还在于，所述候选帧中选取至少一个关键帧包括，通过选取网络从候选帧中选取关键帧，其中，所述选取网络采用以下条件选取：

其中，L为损失函数，p_i表示每个候选帧分类概率，f_i表示候选帧i，N_cls归一化值表示mini-batch的总量，L_cls表示softmax函数，p_i*是指真值，取0或者1，u为设定的权值比，N_reg归一化值为候选帧的总量，L_reg表示smooth L1函数，f_i^m表示候选帧与真值之间的关系参数。

7.根据权利要求1所述的方法，其特征还在于，所述从所述池化后的关键帧中进行识别包括，使用预定义算法计算关键帧分类的概率，并使用预定义阈值识别分类。

8.根据权利要求7所述的方法，所述预定义阈值C≥0.7。