[发明专利]基于改进直方图和聚类算法的视频镜头检测方法

说明书

技术领域

本发明涉及图像处理技术，具体是一种视频镜头检测技术。

背景技术

时域上连续的一组图像帧组成了视频流，但是由于视频帧速率一般较大，一段很短的视频就拥有大量的图像帧，而且相邻图像帧在视觉特征上具有一定的相关性，因此在视频检索领域并不能直接应用基于内容的图像检索的方法。只有对视频进行结构化并为视频建立索引和摘要，在形成关于视频内容的线性结构的情况下，才能有效实现视频数据的快速浏览和检索。视频的结构化包括镜头分割等，镜头分割又称镜头变换检测，是视频结构层次化的基础，要求避免外界因素对于镜头检测分割的影响，将视频序列分割为多个由拥有相同内容的一组不间断帧组成的镜头，正确检测出各种复杂编辑的镜头边界。

镜头分割要求准确地将视频从镜头边界处分割开，形成一个个独立镜头，以确保关键帧提取的准确性。Yeung等学者和Nagasaka等学者分别提出直方图交集算法和χ²直方图算法，对直方图差异度的计算方式进行改进；

为了减少镜头内的局部运动可能引发的干扰，Nagasaka等学者提出对各帧进行分块处理的方法；为了更好地检测持续的渐变过程，Zhang等学者提出了双阈值的算法；针对运动特征，Shahraray等学者提出了一种块匹配算法，对各块进行运动补偿后，提高了对于镜头内局部运动的容忍度，而Akutsu等学者通过计算运动向量的相关系数来定义帧间相似性，从而检测镜头转换；镜头转换时，镜头内对象边缘也随之发生变化，因此R.Zabhi等学者提出了基于边缘特征的场景分割方法；Chi-ChunLo等学者提出采用模糊C均值(FuzzyC-means:FCM)聚类算法进行镜头分割，最终将所有视频帧归入镜头变化（ShotChange:SC）和无镜头变化（NoShotChange:NSC）两类；金红等学者提出采用非监督式聚类算法对MPEG压缩视频进行检测，并根据视频数据的特征进行相应的后处理；Cernekova^[11]等学者提出在相邻两帧间，结合互信息量以及联合熵的镜头检测算法等。现阶段很多镜头检测方法对于镜头切变的检测效果已趋近完美，而镜头渐变由于其镜头转换模式的多样性，且易受到噪声干扰，现有方法的检测效果仍不理想。此外，一般采用不同方法分别进行镜头切变和镜头渐变的检测，而单纯识别镜头切变的实际意义不大，因此，能够同时识别镜头切变和渐变的方法一直是学者们的研究目标。

镜头分割是视频结构层次化的基础，得到了研究人员和学者的广泛重视，并有着丰富的研究成果。然而迄今为止，仍然没有一种在各种情况下、针对各种内容类型的视频都能表现出良好性能，“放之四海而皆准”的镜头分割检测算法。

镜头转换检测用于将电影或视频分为基本的时域单元——镜头，根据镜头边界的连接编辑方式，可将镜头转换方式分为以下两类：镜头突变（切变）和镜头渐变。镜头突变（切变）是从一个镜头突然转换至下一镜头的过程，对应的是直接连接两个镜头的镜头编辑方式；而镜头渐变是下一镜头逐渐代替当前镜头的过程，又称软转换，对应的是利用空间/着色效果连接两个镜头的镜头编辑方式。镜头渐变是包括多种镜头转换方式，其特点是整个切换过程是渐进持续的。比较常见的渐变主要有淡入淡出、划入划出、溶化、扫换和叠化等。

发生镜头转换之时，通常视频内容（高层语义）也发生了变化。视频镜头检测分割的理想过程是直接对视频内容（高层语义）进行分析，但是由于“语义鸿沟”以及涉及人类情感因素的高层语义的模糊性，多数镜头检测算法仍根据镜头边界处视频低层特征（如颜色、边缘、纹理等视觉特征及运动特征）的变化来检测镜头边界。通常情况下，镜头转换会引起视频底层特征的明显变化，如图像帧颜色分布的突然变化，视频对象边缘轮廓的移入移出等。但在镜头渐变的转换过程中，视频底层特征变化较为缓慢且不明显。

此外，即使是在同一镜头中，视频内容的快速变化和噪声也可能会导致视频底层特征发生较大变化。鉴于以上诸多影响因素，虽然在某些特定情况下，利用现有算法进行视频镜头分割可达到较好的效果，但是当视频中存在对象/摄像机的快速运动，外界光照的剧烈变化等极端情况以及在视频的渐变过程中，很多现有算法进行镜头分割的效果仍远不能令人满意。