[发明专利]一种基于稀疏核字典的视频摘要选择方法

说明书

技术领域

本发明涉及多媒体社交的视频摘要领域，尤其涉及一种基于稀疏核字典的视频摘要选择方法。

背景技术

随着消费者视频的不断增加，如何管理这样巨大的视觉内容正在成为一个具有挑战性的话题。视频摘要是视频处理领域的热点任务之一，其目的是通过提取基本信息以产生紧凑和翔实的版本，有效和高效地访问视频内容。现有的视频摘要方法可以分为两类：基于关键帧的方法和基于关键镜头的方法。与基于视频镜头的方法相比，基于关键帧的方法可以产生较少数量的单个关键帧，这有助于更有效地理解和分析视频。另一方面，关键帧的集合不受任何定时或同步问题的限制。

近年来，稀疏的代表性已经广泛用于模式识别和图像处理领域。稀疏代表的主要思想是选择来自完整字典的子字典，并以最小错误重建原始信号^[1]。这个方法与关键帧的提取有相似的思路，其目的是从视频中选择帧的子集来表示或重建视频没有重大的信息丢失。因此，基于稀疏字典的方法已经引起了相当大的关注视频摘要的研究者的兴趣。Kumar等人提出了一种基于稀疏表示的方法来提取关键帧，使用随机的帧映射到低维特征空间的投影矩阵来作用于视频^[2]。那么稀疏代表就被利用在了随机特征空间中分析视频并生成关键帧的技术中。Cong等制定了视频摘要作为使用稀疏一致性的字典选择问题，其中使用Nesterov优化方法选择了关键帧的字典，使得可以从重建视频的一个代表性的字典之外，为了确保稀疏性，施加了简单的约束^[3]。Mei等人以最小稀疏重建问题制定了视频摘要任务。不同于基于凸松弛的稀疏字典选择方法，这种方法被利用真正的稀疏约束0范数，而不是轻松的约束2,1范数，使得关键帧被直接的选择作为稀疏字典^[4]。

虽然已经提出了许多基于稀疏字典选择的视频摘要方法，但它们主要关注于线性稀疏表示，其在视频帧之间呈现线性关系。然而，线性表示总是不足以表示视觉数据的非线性结构。例如，计算机视觉区域中的许多描述符具有固有的非线性相似度度量函数。因此，线性稀疏词典选择模型不可避免地限制视频摘要的性能。内核的算法可以将分离的非线性特征投影到高维的特征空间，其中，同类型的特征会被线性地分离与归类。于是，原始数据就可以被核矩阵映射到高维空间并做线性处理。

发明内容

本发明提供了一种基于稀疏核字典的视频摘要选择方法，本发明考虑了视频帧之间的非线性，为视频摘要任务制定了非线性稀疏字典选择算法，通过将原始视频投影到由内核的高维特征空间中，将非线性转换为线性，为视频摘要提供简单的线性处理方法，详见下文描述：

一种基于稀疏核字典的视频摘要选择方法，所述方法包括以下步骤：

对所有视频提取它的所有帧保存，提取所有帧的VGG-16特征；

构建视频的高斯核矩阵K，用于减少将数据映射到高维特征空间的计算量，构建残差矩阵P；

利用同步正交匹配算法迭代优化生成视频的重构稀疏子字典；

由向量内积计算出测试帧和字典中的帧之间的相关性选择标准，选择生成与原始视频或残差最接近的帧；

定义重建误差的最小化问题，计算当前的重建系数，在选择的关键帧集的基础上获得重建系数X；

以能量形式的残差与视频的比率，自适应地调整不同视频的所选关键帧的数量作为停止条件；

通过得到的重构视频稀疏子字典投影到视频帧池，选择关键帧；在数据库上进行试验验证关键帧选择算法的有效性。

所述由向量内积计算出测试帧和字典中的帧之间的相关性选择标准，选择生成与原始视频或残差最接近的帧具体为：

将原始视频投影到由内核的高维特征空间中，将非线性转换为线性；

设计残差与视频标准的比例来总结不同长度的视频序列。

本发明提供的技术方案的有益效果是：

1、本发明突破了以往稀疏矩阵的线性条件的约束，融合了高斯核函数，将非线性特征映射到高维空间，构建了视频的稀疏子字典，用于提取视频的关键帧构成视频摘要；

2、正交匹配追踪算法作用于视频摘要上符合关键帧提取的视频摘要的要求，能够选择有代表性的关键帧，且视频摘要效果较好。

附图说明

图1为一种基于稀疏核字典的视频摘要选择方法的流程图。

表1为本方法与其他视频摘要算法对比结果示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。