[发明专利]基于内容的视频镜头检索方法

说明书

一技术领域

本发明属于视频检索技术领域，特别是一种基于内容的视频检索方法。

二背景技术

随着计算机技术不断发展，计算机处理能力得到显著提高。先进的集成制造工艺使得硬件性能不断提升，网络技术、通讯技术的革新有力地推动了信息化发展进程。人们应用处理的媒体信息量每天都呈几何级数增长，信息技术发展带来了海量的视频数据。视频点播、数字交互电视、视频会议等新的媒体信息交换和应用形式已经完全融入人们日常学习、工作、生活和娱乐之中。数字化后的媒体信息，尤其是数字化后的视频和音频信息具有数据海量性，它给信息的管理、存储和传输造成极大的困难，成为阻碍人类有效获取和使用信息的主要瓶颈。按照传统的文本数据分析、管理、检索方法来管理视频信息既要耗费大量的人力，又不能充分利用视频中包含的丰富信息内容。因此，传统的文本信息内容描述、分析、管理、检索等相关技术已不适合处理大量视频数据。基于视频内容的数据分析、过滤、概要、检索等相关技术研究已受到广泛关注。为了对含有丰富时空信息的视频数据进行高效快捷地过滤、浏览和检索，人们提出了视频内容分析和基于内容的视频检索技术。视频内容分析技术已取得了一定的进展，正成为多媒体领域一个活跃的研究方向。多媒体内容描述接口MPEG-7标准的建立和完善推动了基于内容的视频检索技术的发展。

对于基于内容的视频检索一般先进行镜头分割和镜头边界检测，然后以镜头为单位提取静态视觉特征以及时空特性，进行这些特征相似度衡量，以此进行检索。北京大学计算机科学技术研究所和北京北大方正技术研究院有限公司开发的一种基于内容的检索方法(公开号为CN1477600)，该专利建立镜头相似度的带权二分图模型G＝{X，Y，E}。其中，X表示镜头X有n帧，Y表示镜头Y有m帧，边集E。该方法中构造带权二分图的方法有两种：一种是子镜头构造带权二分图的方法，即以子镜头的关键帧作为节点，构造带权二分图。另一种是等间隔采样构造二分图的方法，在每个镜头内部等间隔地提取关键帧作为节点，构造带权二分图，这样两个镜头的关键帧数目是一样的，可以构成多节点的完全二分图。

基于例子的视频查询应该是高效的、简便的和正确的：所谓高效性指检索系统能够快速地找到用户所需要的视频；简便性指检索系统应该让用户操作简单、便捷，不需要掌握复杂的专业领域知识；正确性指检索系统返回的视频应当尽可能接近用户的检索要求。但是要设计一个满足上述要求的视频检索系统，必须先定义两个视频镜头的相似性度量。在定义视频实例的“相似度”中，要解决以下技术难点：(1)视频不是简单的帧序列集合，而是层次结构，视频间相似度衡量是在哪个层次上进行，是视频比较的前提。(2)关键帧的视觉特征是整个视觉特征的基础，但是每个视频都有相当数量的关键帧。对于大型的视频数据库而言，所有视频的各个关键帧视觉特征的存储量和相互间比较次数都是可观的。(3)两部视频是否相似是一个很复杂的问题，不同的人有不同的理解，掺杂着认为主观的因素，要设计合理的视频比较方法，必须尽量综合考虑各种因素。

三发明内容

本发明的目的在于提供一种基于内容的视频检索方法，该方法不仅能大大提高基于内容镜头检索的准确率，从而更加充分地发挥镜头检索技术在现今海量视频信息社会中的巨大社会作用，而且能使检索更加的高效，其操作也很简便，利于广大普通用户使用。

实现本发明目的的技术方案为：一种基于内容的镜头检索方法，包括以下步骤：

第一步，首先对视频数据库进行镜头分割，以镜头作为视频内容的基本结构单元和检索单元；

第二步，用关键帧数的关键帧策略及时空注意力选择模型选取关注区域对视频镜头内容进行表征；

第三步，设有两个镜头A和B为显著区域，计算两者对应关键帧匹配度；

第四步，计算镜头时空内容的匹配度。

本发明基于内容的镜头检索方法，其特征在于：在第一步中，对视频数据库进行镜头分割的方法为基于统计分布的渐变镜头分割方法。

本发明基于内容的镜头检索方法，其特征在于：在第二步中，对镜头内容进行表征，包括以下步骤：

(1)设镜头总长度为L，关键帧数目为n，则以L/(n-1)为步长选取n个关键帧；抽取的关键帧在离散的时间点上组成帧序列，用上述方式来表示视频内容，能够比较真实表达出视频流时空内容变化关系，这种镜头内容表征方式可以较好保留时间线上前后关联的语义语境变换信息，这样两个镜头的关键帧数目是一样的；

(2)用注意力模型选择的视频基本对象既包括关键帧的空间静态显著对象，也包括通过时域信息得到动态显著对象，最终的视觉显著区域由下式得到：