[发明专利]一种交互式的视频运动物体消除方法

说明书

技术领域

本发明涉及多媒体应用和视频数据处理领域，尤其涉及一种交互式的视频运动物体消除方法。

背景技术

从摄像机运动状态下拍摄的视频序列中消除运动物体在军事和民用领域都有广泛的应用，人们能够从真实场景中排除运动物体的干扰，快速获取周围环境信息。目前还不存在一个通用的算法可以有效做到从视频序列中消除运动物体，但随着多媒体及视频处理技术的发展，出现了许多新的方法。

根据运动消除算法中用到的视频序列运动信息的不同可以将视频运动消除算法分为两类：以空间同性为准则的运动消除算法的大致步骤是先用形态学滤波器或其他滤波器对图像作预处理，然后对该图像的亮度、色度或其他信息作空间上的分离并对区域作边缘检测，之后通过KLT等光流方法作运动估计，并合并相似的运动区域以得到最终的分离结果；以变化检测为准则的运动消除算法主要通过计算帧差来检测图像上的变化区域和不变区域，将运动物体与静止背景进行分离。为降低噪声的干扰，通常利用相邻两帧检测变化区域。

根据算法中用到的时空信息的不同可以将视频运动物体消除算法分为时域分离，空间分离，时空联合分离等。时域分离是利用前、后帧的图像信息进行分离。因为背景通常具有与前景不同的运动，通过变化检测。即可得到运动对象的大致区域。然而，由于运动信息的复杂性，时间分离往往只能得到大致准确的对象边界；空间分离则可以得到准确的对象边界，但很难自动得到语义对象区域。分水岭算法是一种常见的空间分离技巧。但它有一个内在的缺陷：对梯度噪声非常敏感，通常导致过分离；时空分离的融合是当前的研究热点之一。常见的方法是对多个特征采用马尔可夫模型建模，然后进行优化求解，其缺点是需要的计算量大。时空联合分离方法强调利用空间信息来修正和增强时域分离结果，由于它既利用了帧间时域上的强相关性信息，又利用了帧内空间上的特征，能够取得较好的分离效果。

静态图像修复作为一项用来修复局部损坏图像的技术，在最近几年受到了很多关注。静态图像修复在很多领域有广泛的应用，比如从图像或视频帧中去除字幕或商标，扫描移除图像划痕或污点并添加人工修复效果等。大多数的图像修复算法是这样工作的：首先用手工的方式选择需要修复的图像区域，然后通过各种方法使得图像颜色信息从要修复的区域边界向里传递，例如将已有的图像信息填充到缺失的区域中。为了能够产生视觉真实的重建效果，图像修复技术应该尽量使重建区域中的等照线(相等灰度的线)平滑连续。换句话说，重建区域修复后我们可以根据修复的图像灰度和梯度值推测区域外面的灰度和梯度值。常见的图像修复算法有Telea算法等。

发明内容

本发明的目的是解决从摄像机运动状态下拍摄的普通视频中消除运动物体的问题，提供一种交互式的视频运动物体消除方法。

交互式的视频运动物体消除方法包括以下步骤：

1)采用人机交互的方式标注视频运动信息，标注视频中运动物体的矩形包围盒，把要消除的运动物体信息从视频序列中分离出来；

2)通过计算图像特征点的光流值得到各个视频帧的视点对应关系，实现摄像机的运动补偿；

3)将运动补偿后的视频帧里的运动物体用相邻的视频帧对应位置的背景像素覆盖；

4)采用静态图像修复的方法，将步骤3)中未被消除的运动物体内容做图像修复处理，得到最终运动消除后的视频帧结果。

所述计算图像特征点的光流值得到各个视频帧的视点对应关系，实现摄像机的运动补偿步骤：程序自动选择代表视频背景图像特征的点作为光流跟踪算法的跟踪点，通过光流算法得到特征点在两帧视频图像间的位置对应关系，通过设定光流平均值的偏差阈值将奇异光流值去除，然后通过插值方法得到视频帧图像每个点的光流大小，将所有视频帧的背景都统一到当前帧的位置，从而实现摄像机的运动补偿。

所述将运动补偿后的视频帧里的运动物体用相邻的视频帧对应位置的背景像素覆盖步骤：假设要消除第K帧视频图像的运动物体，对该帧每个运动物体维护一个像素矩阵记录该位置的背景像素值，初始化为-1，选取从第K+1和K-1帧开始的6-8帧图像，通过检测摄像机运动补偿后的视频帧中对应位置是否在标注的矩形包围盒内判断该像素是否是背景，如果像素矩阵中的位置还没有被相应位置的背景像素填充，则将背景像素值填充到像素矩阵中。