[发明专利]一种视频检索方法和系统

说明书

技术领域

本发明涉及数字视频技术领域，尤其涉及一种视频检索方法和系统。

背景技术

近年来，数字视频信息出现了飞速膨胀。新的视频应用，例如数字图书馆、视频点播、数字电视、视频会议、远程教育等，已经为越来越多的人所接受和熟悉。面对海量的视频数据，如何找到所需的视频信息就成为一个亟需解决的问题。上个世纪9O年代以来，出现了基于内容的视频分析和检索研究，其目的就是通过对视频内容进行计算机处理、分析和理解，建立结构和索引，以实现方便有效的视频信息获取。因此，基于内容的视频分析与检索研究从一开始就得到了广泛的重视，并取得了丰硕的研究成果。

基于内容的视频分析从提出到现在，大致经历过3个阶段。第一阶段的研究主要集中在视频结构的分析和浏览上，其中涉及的关键技术有镜头边界检测、关键帧提取和场景的合并。第二阶段的研究主要围绕相似性检索展开，核心问题是特征的提取和特征空间距离的量度。前两个阶段的研究在一定程度上解决了视频检索和浏览的问题．并对视频管理和获取技术进行了有价值的探索。第三阶段的工作提出了面向语义的信息提取，这也是目前基于内容视频分析研究的热点。该阶段工作的根本目标是构建从底层特征到高层语义之间的桥梁，最终形成符合人类思维形式的信息索引和检索方式。

视频镜头的检测

镜头检测的关键是确定从镜头到镜头的转换处，并利用镜头之间的转换方式找到镜头图像之间的差别，镜头之间的转变包括切变、渐变和数字特技，针对不同的情况往往需要使用不同的算法。其中切变检测的算法最为成熟，渐变和数字特技的检测算法往往依赖一定的先验假设，技术还有待进一步完善。常用的自动镜头检测方法主要有以下几种：

(1)基于像素的镜头检测方法，利用视频两帧对应像素之间的差别来检测镜头边界，这种方法的缺点在于容易受到噪声的影响；

(2)基于像素平均值，方差等统计特征的镜头检测方法；

(3)基于视频特征的镜头检测方法，包括基于边缘特征的比较方法（提取视频每帧图像的边缘特征，通过检测边缘的突然变化来确定边界），采用颜色比率特征（Color Ratio Feature）的方法、基于光流特征的方法等，这些方法的计算复杂性都比较大；

(4)基于直方图的镜头检测方法，此方法利用视频帧图像的灰度直方图或者颜色直方图的比较来检测边界，在镜头检测的精度和速度之间达到了较好的平衡，因此使用最为普遍。另外，近年来开始出现了直接对压缩视频进行镜头检测的算法，压缩域内对镜头切变的检测多是利用DCT系数、运动向量及运动补偿宏块等信息进行的 Yasuyuki利用I帧的DC序列考查前后两个I帧DC图的色度相似度，在镜头切换时，色度变化一般较大，从而确定切换点。另一种方法是利用B帧中进行运动补偿的宏块数量来进行切变的检测。在压缩域内镜头渐变的检测方法也较多，典型的有以下几种：Yeo等借助从MPEG 缩码流中提取出的DC系数可以检测闪光、淡人、淡出，同时该方法也可以区分叠化和切变；利用MPEG压缩码流中宏块种类的信息可以获得B帧的预测方向，并进而检测到各帧中场景发生变化的区域，通过对这些变化区域的分析，就可以检测比较复杂的擦除转换，还可以确定擦除的种类。

关键帧提取

在镜头分割以后，为提供给用户浏览．一般要进行镜头关键帧（Key Frame）的提取工作。一个镜头的关键帧就是反映该镜头主要内容的一帧图像或若干帧图像。关键帧的选取一方面必须能够反映镜头中的主要事件，因而描述应尽可能完全律确；另一方面，为便于管理，数据量应尽量小，且计算不宜太复杂。关键帧提取方法主要包括以下几种：

(1)最简单的关键帧提取方法是提取镜头固定位置上的帧作为关键帧。例如第一帧、中间帧或最后一帧，或者相隔固定帧数采样一帧，这种方法操作简单，但不够灵活，因此不能有效地反映镜头内容；

(2)较为复杂的方法包括基于内容复杂性、镜头活动性等特征来提取关键帧，这些方法能较为准确地反映镜头内容；

(3)较理想的方法是通过分析视频视觉内容（颜色直方网、运动信息）随时间的变化情况，确定所需关键帧的数日，并按照一定的规则为镜头抽取关键帧；

(4)还有一种常用的关键帧提取方法是采用图像拼接(Mosaic)技术，也称全景图生成技术，即对分割得到的镜头各帧进行拼接，融合镜头中多帧的背景信息，生成一个全景的拼接图像束代表视频片断的内容，虽然全景图能较为全面地反映镜头内容，但由于算法对前景运动的敏感，这种技术的应用受到一定的限制，还有其他方法，例如用无监督聚类技术来选择关键帧等。

基于内容的相似性检索