[发明专利]一种时序行为片段生成方法

说明书

本发明公开了一种时序行为片段生成方法，涉及视频处理技术领域，包括：采用金字塔上下文感知机制对视频单元特征序列进行编码处理，得到多尺度信息特征；采用可学习边界匹配网络，从视频单元特征序列提取时序行为片段的固定特征表示；基于多尺度信息特征和固定特征表示，生成时序行为片段。本发明通过金字塔上下文感知机制有效编码了视频的多尺度信息，并且拥有极大的感受野，解决了视频中时序行为片段长短不一的问题；提出了可学习边界匹配网络，它可以通过学习的编码方式提取长度不一的时序行为片段的固定特征表示，并且它可以加入到网络进行端到端的训练，解决了现有方法提取出来的时序行为片段特征存在许多的噪声的缺陷。

技术领域

本发明涉及视频处理技术领域，具体而言，涉及一种时序行为片段生成方法。

背景技术

时序行为片段生成是指给定一段未分割的长视频，算法需要检测视频中的行为片段，包括其开始时间和结束时间，从而达到准确定位长视频中行为发生的时间段和过滤掉不相关信息的效果。

现有的方法可以分类两类，分别是基于锚点机制的方法(Anchor-based methods)和基于边界点定位的方法(Boundary-based methods)。

基于锚点机制的方法预先定义不同尺寸的时序窗口来代表不同长度的时序行为片段，然后通过分类器对预先定义的时序行为片段进行分类以区分行为和背景两类。但是，实际应用中数据集类别丰富、时序行为片段长度不一，那么预先定义的时序窗口存在以下缺点：1)不能有效覆盖长视频中长短不一的时序行为片段；2)窗口尺度的设置需要大量人工干预；3)预先定义的时序窗口一方面不具备精确的边界。

基于边界点定位的方法是对视频中的时间点进行分类，判断其作为行为开始和结束的概率来确定其是不是时序行为片段的边界点。现存的方法通过使用堆叠的时序卷积层或者使用长短时记忆网络(LSTM)的方法来获取上下文信息。但是这种方法存在以下问题：1)堆叠时序卷积层只能有限增加网络模型的感受野；2)长短时记忆网络对长视频进行建模可以得到全局信息，但是时序行为片段长短不一，现有方法无法获取不同尺度的信息。

另外，目前现有的方法大多采取简单的方式对时序行为片段进行建模，比如平均池化，最大值池化，随机采样等方式。但是，这样的建模方式会导致提取出来的时序行为片段特征存在许多的噪声。因为时序行为片段中可能有一些视频单元特征包含行为信息，而另一些视频单元包含有背景信息，所以直接进行简单的建模处理，可能会导致提取出来的时序行为片段特征不具备判别性。

发明内容

本发明在于提供一种基于金字塔上下文感知机制和可学习边界匹配网络的时序行为片段生成方法，其能够缓解上述问题。

为了缓解上述的问题，本发明采取的技术方案如下：

一种时序行为片段生成方法，包括以下步骤：

S1、使用双流卷积神经网络对输入视频进行编码提取视频单元特征序列；

S2、采用金字塔上下文感知机制对视频单元特征序列进行编码处理，得到多尺度信息特征；

S3、采用可学习边界匹配网络，从视频单元特征序列提取时序行为片段的固定特征表示；

S4、基于多尺度信息特征和固定特征表示，生成时序行为片段。

本技术方案的技术效果是：通过金字塔上下文感知机制有效编码了视频的多尺度信息，并且拥有极大的感受野，解决了视频中时序行为片段长短不一的问题；提出了可学习边界匹配网络，它可以通过学习的编码方式提取长度不一的时序行为片段的固定特征表示，并且它可以加入到网络进行端到端的训练，解决了现有方法提取出来的时序行为片段特征存在许多的噪声的缺陷。

进一步地，所述步骤S1具体为：

将视频图片序列划分为视频单元序列；