[发明专利]融合全局信息的动作视频段提取方法

说明书

本发明公开了一种融合全局信息的动作视频段提取方法，属于视频处理领域。本发明包括：选择训练数据集；提取数据集中的原始视频的视频帧，并利用TSN网络模型来提取的原始视频中包含的视频段的视觉特征并组成视觉特征序列；利用时序卷积对提取的视觉特征序列进行卷积操作，扩大视觉特征序中视觉特征的感受视野；基于扩大感受视野后的视觉特征生成视频段的二维视频段特征，并进行视频段的动作预测；基于扩大感受视野后的视觉特征预测视频段的开始时间节点和结束时间节点；将视频段的动作预测结果以及开始时间节点和结束时间节点预测结果进行融合，产生最终的预测结果。通过上述方法，本发明能够从长视频中提取出有效的视频段。

技术领域

本发明涉及视频处理领域，尤其涉及一种融合全局信息的动作视频段提取方法。

背景技术

随着各种拍摄设备和网络的普及，视频在人们日常的生活中占据着越来越重要的地位，对于视频内容的分析也受到了越来越多的人的关注。但是对于目前视频的来源来说，其主要是用户所上传的未经剪辑的长视频亦或者由政府所安装的摄像头所捕获的视频，对于这些少平来说，其中包含着大量的无关的、冗余的信息，比如：用户上传视频中的背景信息，因为对于大多数的人来说，人们更加关注视频中的事件而不是其背景。如果要采用人工的方法来对这样的视频进行处理，这无疑将会浪费大量的人力物力。

因此，我们有必要对视频进行恰当的处理，剔除掉无关的背景信息，尽可能的保留事件信息。此外，随着深度学习在视频处理领域的广泛应用，这一任务也受到了各个公司、高校的关注，出现了很多基于深度学习的不同的处理方法。

目前对于提取包含动作的视频段来说，有两类基于深度学习的方法，可以大致分为anchor-base和anchor-free：

1）anchor-base：该类处理方法主要是从目标检测领域所借鉴过来的，将原先目标检测中对空间信息的建模，替换成对该任务中的时序信息的建模。利用卷积神经网络，在每一层提取的特征图中，再其对应的位置定义不同尺度的anchor，然后负责特定长度视频段的预测。但是这类方法由于预先定义了anchor的大小，可能很难灵活的覆盖不同长度的视频段，导致最后的预测结果较差。

2）anchor-free：该类处理方法抛弃了anchor的使用，而是直接预测视频中不同时间点的类别：主要包含开始、结束、动作三类。然后利用配对的方法来将三类节点进行配对，来生成可能包含动作的视频段，最后再进行评判，剔除掉多余的视频段，产生最后的结果。

现有的这两类方法中，虽然可以产生比较好的预测结果，但是在预测的过程中并没有充分的利用全局信息，这可能缺乏对于视频整体的理解。

发明内容

本发明的目的是提供一种融合全局信息的动作视频段提取方法，能够在使用模型预测包含动作的视频段的过程中，通过引入全局信息来对指导有效视频段的产生。

本发明解决其技术问题，采用的技术方案是：

融合全局信息的动作视频段提取方法，包括如下步骤：

步骤1、选择数据集；

步骤2、在选择的数据集中，提取原始视频中的视频段对应的视频帧，并利用TSN网络模型提取原始视频中包含的视频段的视觉特征，并将视觉特征组成视觉特征序列；

步骤3、利用时序卷积对提取的视觉特征序列进行卷积操作；

步骤4、基于进行卷积操作后的视觉特征序列生成视频段的二维视频段特征，并进行视频段的动作预测；

步骤5、基于进行卷积操作后的视觉特征序列预测视频段的开始时间节点和结束时间节点；

步骤6、将视频段的动作预测结果以及开始时间节点和结束时间节点预测结果进行融合，产生最终的预测结果。