[发明专利]基于渐进二分和自适应阈值的视频镜头边界检测方法

说明书

技术领域

本发明属于多媒体检索领域，涉及一种基于渐进二分和自适应阈值的视频镜头边界检测方法。

背景技术

目前的视频镜头边界检测算法普遍采用线性计算方法，顺序地计算帧间差异并研究变化值。因线性计算需要比较给定视频每相邻两帧的差异，耗时长，因而不适用大规模的视频库。

为解决这个问题，Kien A.Hua于2000年在ACM Multimedia2000上发表的论文“Detecting Video Shot Boundaries up to16Times Faster”中，提出了利用镜头内帧间上下文的相似性忽略一些不必要的比较计算，从而降低时间复杂度的两种非线性算法。第一种是规则跳略，即每隔d帧进行一次比较计算。假设d=2，它比较第1帧和第3帧，第3帧和第5帧，依此类推。如果发现有第i帧和第i+2帧在不同的镜头，则比较第i帧和第i+1帧。如果第i帧和第i+1帧位于不同镜头，则镜头分界在第i帧和第i+1帧之间；否则就在第i+1帧和第i+2帧之间。一旦新的镜头被识别，同样的过程从新镜头的第一帧开始重复。这个方案很简单，但已经可以将比较计算次数减到一半左右。第二种算法是自适应跳略算法，它动态确定d的值。在每一次重复计算中，如果这一次比较计算结果表明比上一次更相似，则增大d值；否则减小d值。如果本次比较表明这两帧位于不同的镜头，则后退计算寻找镜头边界。一旦找到准确镜头边界，再用同样方法继续前向计算。

最直观的渐变镜头检测方法是根据渐变镜头产生式进行检测，其缺点是只能检测出已经定义好的渐变类型的镜头，但在实际中无法预测出所有渐变镜头的类型。

一种典型的渐变镜头检测方法是张宏江于1993年在《Multimedia Systems》期刊上发表的论文“Automatic partitioning of full-motion video”中提出的双阈值法，这种方法基于Gaussian分布确定阈值，其中T_b=μ+ασ的参数α是固定参数，当用于不同类型的视频时，由于参数α固定，因此这种方法确定的阈值不具有很好的适应力。

另一类常见的渐变镜头检测方法是机器学习法，它为待检测视频建立SVM（Support Vector Machines，支持向量机）模型、HMM（Hidden Markov Model，隐马尔可夫模型）模型、KNN（K-Nearest Neighbor algorithm，K最邻近结点算法）模型、贝叶斯模型等，机器学习法需要训练视频集对这些机器学习模型进行参数训练，然后再用于新视频的镜头检测。机器学习法对新视频进行镜头检测的结果与训练视频集有关，如果训练集选取不当，会影响最终的检测结果。

还有一类渐变镜头检测方法是建立数学模型法。B样条插值曲线拟合法从视频帧序列提取帧间方差特征，并映射到曲线上，用B样条曲线对它的拟合度检测叠化镜头边界。袁进辉于2005年在《Proceedings of the13th annual ACM international conference on Multimedia》会议上发表的论文“A Unified Shot Boundary Detection Framework Based on Graph Partition Model”中，提出了基于图分割模型的统一的镜头边界检测框架。图分割模型将每一帧看作一个节点，每两个节点间用边连接，这样可以创建一个加权的图，从而把镜头边界检测问题表示为图分割问题。将视频镜头边界看作是多分辨率的边现象，它将视频序列的表示转化到多维特征空间中点轨迹的表示，然后用视频信号轨迹的导数来检测镜头边界。数学建模法需要将视频序列结构转换为数学模型，然后再对新的模型进行检测，而数学建模过程本身就有很高的计算复杂度。

最典型的进行视频镜头边界检测的阈值确定方法是根据特征进行检测。常用的视觉特征有颜色特征、轮廓特征和运动特征。首先要提取每帧视频的特征，并计算相邻帧间的特征差值，并与阈值进行比较，大于阈值的位置即为镜头边界。

经典的阈值算法是张宏江提出的根据视频帧特征差的Gaussian分布求取的检测阈值，假设差值的均值和方差分别为m和δ，则阈值为T=m+sδ，其中s取3-5。这种方法的不足之处是参数s为固定参数，不能根据视频类型进行自动地调整。

其他确定视频镜头边界的方法是机器学习法，但是检测结果是与训练集相关的。