[发明专利]基于带权重的原型分析技术的多视频摘要方法

说明书

本发明涉及视频处理技术领域，为提出适用于该特点的基于带权重的原型分析方法的多视频摘要技术，使之在有效的先验信息的辅助下，充分地利用数据的特有信息。本发明采用的技术方案是，基于带权重的原型分析技术的多视频摘要方法，首先利用带权重的图模型建模视频帧之间的关系，从而获取带权重的原型分析所需的权重矩阵；然后利用带权重的原型分析获取关键帧，生成给定长度的视频摘要。本发明主要应用于视频处理场合。

技术领域

本发明涉及视频处理技术领域，具体讲,涉及基于带权重的原型分析技术的多视频摘要方法。

背景技术

随着信息技术的快速发展，视频数据大量涌现，成为人们获取信息的重要途径之一。然而，由于视频数量的剧增，大量视频数据中出现冗余和重复的信息，这使用户快速获取所需信息变得困难。因此，在这种情况下，迫切需要一种能对同一主题下的海量视频数据进行整合、分析的技术，来满足人们想要快捷、准确地浏览视频主要信息的需求，提高人们获取信息的能力。多视频摘要技术作为解决上述问题的有效途径之一，在过去的几十年里引起了越来越多的研究人员的关注。多视频摘要技术是一种基于内容的视频数据压缩技术，旨在将同一事件下的相关主题的多个视频进行分析、整合，提取出多个视频中的主要内容，并将提取的内容按照某种逻辑关系呈现给用户。目前对于多视频摘要主要从三个方面进行分析：1)覆盖率；2)新颖性；3)重要性。覆盖率指的是所提取的视频内容能够覆盖同一主题下多个视频的主要内容。冗余性指的是去除多视频摘要中的重复的、冗余的信息。重要性指的则是根据某些先验信息提取视频集中重要的关键镜头，从而提取出多个视频中重要的内容。

尽管许多单视频摘要已经提出，但是对于多视频摘要方法的研究却较少，仍处于初步阶段。这主要有两个原因：1)一是由于同一事件下多个视频主题的多样性以及视频之间主题的交叉性。主题多样性指的是同一事件下的多个视频的信息侧重点不同，具有多个子主题。而主题交叉性是指同一事件下的视频之间内容具有交叉性，既有相似的内容，也有不同的信息内容。2)二是由于多视频数据对同一内容所表现出来的音频信息，文本信息和视觉信息可能存在较大差别。这些原因使得多视频摘要的研究难于传统的单视频摘要。

在过去的几十年中，人们针对多视频数据集的特点，提出了一些多视频摘要的方法。其中，基于复杂的图聚类的多视频摘要方法是一个比较经典的方法。该类方法通过提取视频相应脚本信息的关键词和视频的关键帧，构建复杂的图，并在此基础上利用图聚类算法实现摘要。但是该方法主要针对新闻视频，对于没有视频脚本信息的视频集，该方法就失去了意义，另外由于同一主题下的多个视频包含的内容具有多样性和冗余性，仅用聚类的方法虽然满足了视频内容的最大覆盖条件，针对多视频摘要，只用视频的视觉信息聚类效果较差，结合其他模态虽有一定的帮助，但复杂度较大。

多视频摘要中存在多种模态的信息，如视频的文本信息、视觉信息、音频信息等。Balanced AV-MMR(Balanced Audio Video Maximal Marginal Relevance)是一种有效利用视频多种模态信息的多视频摘要技术，它通过分析视频的视觉信息、音频信息以及视觉信息和音频信息中的语义信息，包括音频，人脸以及时间特征等这些对于视频摘要具有重要意义的信息。该方法有效地利用了视频的多模态信息，但提取的视频摘要并未达到较好的效果。

近年来，人们提出了一些新颖的方法。其中，利用视频的视觉共现特性(visualCo-occurrence)实现多视频摘要是其中一个较新颖的方法。该方法认为重要的视觉概念往往重复出现在同一主题下的多个视频中，并根据这一特点提出了最大二元组查找算法(Maximal Biclique Finding)，提取多视频的稀疏共现模式，从而实现多视频摘要。但是该方法仅适用于特定的数据集，对于视频中重复性较小的视频集，该方法就失去了意义。