[发明专利]一种基于关键帧提取的视频行为识别方法

说明书

本发明公开了一种基于关键帧提取的视频行为识别方法，具体包括1)将视频切成图片序列，提取所述图片序列的一维特征；2)从所述图片序列中选取满足至少一个预定义长度帧的图片序列，形成候选帧；3)从所述候选帧中选取至少一个关键帧；4)将所述选取的至少一个关键帧所对应的一维特征池化；5)从所述池化后的关键帧中进行识别，本发明能够根据动作的类别变化来灵活改变关键帧的提取策略，提高行为识别的准确性。

技术领域

本发明属于图像处理与计算机视觉技术领域，涉及一种基于关键帧提取的视频行为识别方法。

背景技术

行为识别一直是计算机视觉研究的一个热点，其目标是从一个未知的视频或者图像序列中自动分析其中正在进行的行为。它的应用背景十分广泛，如在智能视频监控，家政监护系统，人机交互，无人驾驶，虚拟现实，智能家居中都有应用。

随着行为识别技术的发展，人们对行为识别算法的速度和精度提出了更高的要求。行为识别中，不同种类的动作在各自的图像帧之间的变化过程、速率等参数不一致，环境背景也千差万别，多种因素使得目前不存在一个算法适合所有的行为分类。

目前基于机器视觉的行为识别算法研究各种各样，算法各具特色。由于计算机资源的限制，很多早期算法都是基于纹理特征(如HOG，SIFT)或运动特征(如optical flow，MBH)等底层特征，使用费舍尔向量进行编码，然后将这种手工设计的特征送入支持向量机进行分类的方案。之后随着计算机计算能力的提升，神经网络在机器视觉领域突破性进展，人们开始使用2D卷积神经网络提取图片特征来进行行为识别。然而，2D卷积神经网络缺乏对行为动作时间维度上的处理，没有考虑到动作的时间连续性。研究者进一步研究出3D卷积神经网络，在视频行为识别中取得了显著的效果。近几年来，人们考虑使用不同的视频模态来提高行为识别的精度，因此two-stream架构随之产生。但是这些算法大多数都是将视频切成等长的视频片段，然后将片段作为输入。这样操作带来的弊端有：1.可能将同一动作切开分到不同的视频片段；2.视频片段之间相似度高，视频片段中帧间的信息冗余；3.针对不同动作，视频中动作的关键的帧足够代表这个动作，视频其他信息可能是噪声。

发明内容

有鉴于此，本发明的目的在于提供一种基于关键帧提取的视频行为识别方法，能够根据动作的类别变化来改变关键帧的提取策略，提高行为识别的准确性。

为达到上述目的，本发明提供如下技术方案：

一种基于关键帧提取的视频行为识别方法，包括以下步骤：

1)将视频切成图片序列，提取所述图片序列的一维特征；

2)从所述图片序列中选取满足至少一个预定义长度帧的图片序列，形成候选帧；

3)从所述候选帧中选取至少一个关键帧；

4)将所述选取的至少一个关键帧所对应的一维特征池化；

5)从所述池化后的关键帧中进行识别。

优选地，所述提取图片序列的一维特征包括，先采用2D卷积神经网络提取出大小相同的二维特征，将二维特征拼接起来，再经由3D卷积神经网络得到一维特征。

优选地，所述2D卷积神经网络包括采用全部相同的权重。

优选地，所述预定义长度帧包括N个(N≥1)不同长度的帧。

优选地，所述选取满足至少一个预定义长度帧的图片序列包括连续或不连续的图片序列。

优选地，所述候选帧中选取至少一个关键帧包括，通过选取网络从候选帧中选取关键帧，其中，所述选取网络采用以下条件选取：