[发明专利]基于转换器的视频摘要方法

说明书

本发明提供了一种基于转换器的视频摘要提取方法。首先，对选定数据集进行处理，得到模型的训练数据集；然后，构建包括自注意力机制的视频摘要转换器神经网络模型，利用自注意力机制计算视频帧之间的相似度，并通过添加先前帧的重要性得分来增强模型捕获视频帧序列全局依赖关系的能力，利用训练数据集对模型进行训练；最后，利用训练好的模型对待处理视频数据进行处理，得到每一帧的重要性得分，根据该得分选择得到视频摘要。本发明能够很好地捕获视频帧序列之间的时序信息，进而能够很好地对视频帧的重要性程度以得分的形式进行预测，且本发明的模型网络对帧序列可以以并行化的方式进行训练，具有训练时效快、所得视频摘要完整简短的优点。

技术领域

本发明属计算机视觉、深度学习表示技术领域，具体涉及一种基于转换器的视频摘要方法。

背景技术

随着摄像机、视频分享技术的快速发展，视频的数量正在呈现爆炸式的增长。面对海量视频数据，如何高效地从视频中提取有用信息成为一个重要的问题。作为解决该问题的一个重要技术，视频摘要技术旨在对原视频生成一个完整且简短的摘要视频，该摘要视频在时长简短的基础上又能够传递原视频要表达的信息，已经成为多媒体、计算机视觉等领域的热点。视频摘要技术综合运用了机器学习、人工智能等多方面技术，在视频检索、存储、推荐等方面具有重要的作用。

目前，大部分的视频摘要方法分为两个阶段，第一阶段是对所有视频帧进行重要性得分的预测，第二阶段是利用第一阶段的结果来选择视频的关键镜头，从而获得最终摘要结果。第一阶段是视频摘要方法的关键阶段，目前大多数方法的研究都是针对视频帧重要性得分的预测，很多方法都具有比较好的性能。如文献“Ke Zhang,Wei-Lun Chao,FeiSha,et al.Video Summarization with Long Short-Term Memory[C]//EuropeanConference on Computer Vision.Springer,Cham,2016.”中使用两个LSTM网络，一个从前往后，一个从后往前来提取视频帧的序列信息并进行视频帧重要性得分预测，该网络结构组成简单，可提取关键的序列信息，但循环神经网络难以捕捉长时的依赖关系，在处理长视频信息时，容易遗失早期的序列依赖关系；文献“Ji,Zhong,Xiong,Kailin,Pang,Yanwei,etal.Video Summarization with Attention-Based Encoder-Decoder Networks[J].2017.”采用编解码器结构来提取视频关键帧，虽然加入了注意力机制，取得了不错的效果，但编解码器依然使用LSTM网络，其复杂度与视频的长度相关，存在难以实现并行训练、耗时长的问题。

发明内容

为了克服现有技术的不足，本发明提供一种基于转换器的视频摘要方法。利用基于注意力机制的转换器，优化特征到解码器的信息流路线，将解码器输出的重要性得分与原始特征进行加权，用于预测下一帧的重要性得分，增强模型输入与输出之间的联系，实现训练的完全并行化，同时更好地捕捉全局依赖信息。

一种基于转换器的视频摘要方法，其步骤如下：

步骤1：对选定数据集中的视频进行下采样，然后使用预先训练好的神经网络提取视频每一帧的特征向量h_f∈R^d，f为帧序号，f＝1,2,...,F，F是下采样后视频的总长度，d表示特征向量的长度；一个视频所有帧的特征向量和对应的重要性分数构成训练集中的一个样本；所述的选定数据集包括TvSum和SumMe；

步骤2：使用下式生成视频帧的位置向量：

其中，PE_f(i)表示视频第f帧的位置向量的第i个元素值,i＝1,2,…,d；

然后，将视频每一帧的位置向量逐元素与其特征向量相加，对每一帧得到一个添加位置向量后的新向量x_f；