[发明专利]基于图像分割的视频图像深度估计方法

说明书

技术领域

本发明属于图像深度估计技术领域，更为具体地讲，涉及一种基于图像分割的视频图像深度估计方法。

背景技术

深度估计是从一幅或多幅图像中有效地提取深度信息，重建的深度图可以用于3D建模、虚拟视角渲染、视频编辑等多个方面。作为计算机视觉中的一个基本问题，一直以来都是研究的热点。高质量的深度图不仅要体现图像中每个点在空间对应点的正确深度，还要能准确的处理图像噪声、低纹理区域的深度以及区域遮挡问题。作为众多应用的基础，深度估计的效果在立体视觉中也起到至关重要的作用。

对于深度估计问题，目前主要针对的是静态图片(即摄像机静止，场景也静止)，静态图像的深度估计方法主要通过2D图片中的众多单目深度线索来估计其三维信息。

针对单幅静态图像的深度估计问题，一般可通过两种途径来获取图像中场景的三维信息，一种是使用先验知识进行学习，即用大量的图片来获得场景的三维结构与其图像颜色、纹理等的相关性，然后通过机器学习的方法来恢复未知图片的三维结构；另外一种是直接从各种单目线索出发，直接恢复给定图片的三维结构，这些单目线索包括：聚焦散焦、相对高度、大气散射、线性透视、阴影、遮挡、纹理等等。

虽然图像深度估计存在多种方法，但是现有方法所得到的深度图中前景物体的内部深度值存在与实际场景中物体的深度信息不符的问题，例如采用基于相对高度深度线索的深度估计方法得到的深度图中前景物体的深度值不连续，需要进行修正。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于图像分割的视频图像深度估计方法，基于运动目标分割和图像分割来得到前景物体，并对前景物体区域的深度值进行修正，提高深度图中前景物体深度值的一致性。

为实现上述发明目的，本发明基于图像分割的视频图像深度估计方法，包括以下步骤：

S1：将需要进行深度估计的原始图像进行运动目标分割，得到其运动目标，将背景像素点标记为0，将各个运动目标采用不同的非0符号对其像素点进行标记，得到运动目标标记结果图；

S2：对原始图像进行图像分割，得到若干个图像分割区域；

S3：采用视觉注意算法获取原始图像对应的显著图，遍历各个像素点的显著值，如果大于预设阈值，则不作任何操作，否则将该像素点的显著值置为0，从而得到滤波后显著图；

S4：将包含滤波后显著图中显著值非0的像素点最多的图像分割区域作为运动目标区域，对该图像分割区域的各个连通域采用不同符号进行标记，得到图像分割区域标记结果图；

S5：遍历滤波后显著图中显著值非0的像素点，如果在运动目标标记结果图中对应像素点的标记值非0，则该像素点对应的运动目标区域为真实运动目标区域，否则不为真实运动目标区域；在图像分割区域标记结果图中搜索与真实运动目标区域对应的连通域，作为前景物体；

S6：对原始图像进行深度估计，得到深度图；

S7：对每个前景物体区域，修正该区域中每个像素点(i,j)的深度值，得到最终深度图；深度值修正公式为：

d(i,j)′＝M+((d_max-M)/(d_max-d_min))×d(i,j)

其中，d(i,j)、d(i,j)′分别表示修正前后像素点(i,j)的深度值，d_max、d_min分别表示该前景物体区域中所有像素点的最大深度值和最小深度值，M表示预设的修正后该前景物体区域中深度值下限。

本发明基于图像分割的视频图像深度估计方法，首先将需要进行深度估计的原始图像进行运动目标分割，同时进行图像分割得到若干个图像分割区域，并得到原始图像对应的显著图；通过显著图从图像分割区域中筛选出包含运动目标的图像分割区域，对该图像分割区域的连通域进行标记；通过显著图从原始图像的运动目标分割结果中筛选出真实运动目标区域，在图像分割区域中搜索与真实运动目标区域的连通域作为前景物体；得到原始图像的深度图，然后对每个前景物体区域内的深度值进行修正，使其连续，从而提高深度图中前景物体深度值的一致性。

附图说明

图1是本发明基于图像分割的视频图像深度估计方法的流程图；

图2是结合对称差分法和联合双边滤波的运动目标分割方法的流程图；

图3是运动目标分割结果示例图；

图4是本实施例的图像分割结果图；

图5是图4中各个分割部分在原图中的还原图；

图6是滤波后显著图示例图；