[发明专利]一种平面视频的深度图求取方法

说明书

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于背景重构及运动检测的平面视频的深度图求取方法。

背景技术

在立体视频处理技术中，平面视频的深度图生成是指通过平面视频得到标识场景立体信息的深度图序列。

目前常用的深度图生成方法主要是利用平面视频的几何信息，摄像机参数，平面视频中物体的颜色特征等进行全局求取。另外可以通过关键帧图像及对应的深度图对非关键帧的深度图进行计算，计算方法主要包括深度扩散或轮廓跟踪等方法。该方法在关键帧和非关键帧变化较小的场景有较好的效果。

背景重构和运动检测是视频处理中的关键技术，背景重构是指从具有运动物体的场景中恢复静态的背景。目前常用的方法是利用参数或非参数建模方法，对视频中每个像素点建立模型，通过匹配模型对大量采样进行判断和参数变更。主要利用了像素的颜色信息以及视频帧间的关联性。运动检测是指从有运动物体的视频中提取运动物体的信息。目前常用的方法是将运动信息，颜色信息和物体的几何形状信息相结合，从而提取出前景物体。

现有的深度图生成方法往往只能处理包含简单场景和运动模式的平面视频，对于具有复杂场景的处理缺乏鲁棒性(robustness)，从而导致生成的深度图精确度不高。

发明内容

本发明的目的旨在至少解决上述技术缺陷之一，特别是提供一种能够精确求取平面视频中每一帧的深度图像的方法。

为达到上述目的，本发明提供一种平面视频的深度图求取方法，包括以下步骤：S1：对原始平面视频中的前景运动物体进行检测和提取，计算所述前景运动物体的遮挡关系，得到所述前景运动物体的掩膜图像；S2：根据所述前景运动物体的掩膜图像对所述原始平面视频进行背景重构，以得到去除所述前景运动物体的背景视频序列；S3：对所述背景视频序列求取背景深度图序列；S4：对所述原始平面视频求取初始深度图序列；S5：根据所述初始深度图序列中所述前景运动物体的初始深度信息，以及所述背景深度图序列中的所述前景运动物体的几何信息，得到所述平面原始视频的深度图序列。

在本发明的一个实施例中，所述步骤S01进一步包括以下步骤：S11：通过运动检测方法检测并提取所述原始平面视频中的所述前景运动物体；S12：计算所述前景运动物体的面积，并将其中面积较小的物体去除；S13：根据所述前景运动物体的颜色信息，判断可能存在的多个所述前景物体之间的遮挡关系。

在本发明的一个实施例中，步骤S2进一步包括以下步骤：S21：根据所述前景运动物体的掩膜图像，得到去除所述前景运动物体的背景视频序列；S22：根据图像相邻像素的相似性对所述背景视频序列进行图像修补；S23：根据所述前景运动物体的运动信息和所述背景视频序列帧间的像素关联，填补所述背景视频序列中的空白区域；S24：根据图像相邻像素的相似性对所述背景视频序列进行插值和平滑操作。

在本发明的一个实施例中，步骤S22中所述图像修补的算法包括：inpaint算法、patch-match算法。

在本发明的一个实施例中，步骤S3包括：对所述背景视频序列使用静态场景的深度图生成算法，以得到所述背景深度图序列。

在本发明的一个实施例中，静态场景的深度图生成算法包括Bundle算法。

在本发明的一个实施例中，步骤S4包括：使用深度估计算法对所述原始平面视频进行深度估计，以得到所述初始深度图序列。

在本发明的一个实施例中，所述深度估计算法包括BP算法。

在本发明的一个实施例中，步骤S5进一步包括以下步骤：S51：由所述前景运动物体的掩膜图像和所述初始深度图序列得到所述前景运动物体的初始深度图；S52：结合所述背景深度图序列的信息和所述前景运动物体的空间位置信息，对每一帧所述前景运动物体的初始深度图进行修正，以得到包含所述前景运动物体和背景的深度图序列；S53：对包含所述前景运动物体和背景的深度图序列进行滤波处理。

在本发明的一个实施例中，步骤S52进一步包括：计算摄像机参数，结合所述前景运动物体的空间位置信息估计所述前景运动物体所处的运动平面；在所述背景深度图序列中，提取所述运动平面的深度信息，对每一帧所述前景运动物体的初始深度图进行修正。

在本发明的一个实施例中，步骤S53中所述滤波处理包括：双边滤波，高斯滤波。

在本发明的一个实施例中，步骤S5之后还包括：对所述平面原始视频的深度图序列进行平滑后处理。