[发明专利]一种基于稠密视差图的立体图像同步分割方法

说明书

技术领域

本发明属于计算机视觉、计算机图形学和图像处理等交叉领域，涉及一种基于稠密视差图的立体图像同步分割方法。

背景技术

立体图像在各领域的普及对该类数据的智能处理提出了迫切的需求。交互式立体图像智能分割是其中一项重要工作：用户只需在立体图中的一张图像上指定少量前、背景，方法会自动完成两张图像的同步分割。分割算法的效果决定了视频监控应用中检测、识别、分类以及跟踪等问题的准确度。分割后的前景目标物可作为三维模型重建的输入数据，去除背景在重建过程中的干扰。分割的算法和程序亦可帮助普通用户对立体相机拍摄到的日常生活图片进行编辑，帮助影视制作人员对立体电视、电影进行后期编辑。例如去除不想要的物体，将前景物体合成到新的背景中，以及拷贝和粘贴前景物体等。

目前针对单幅图像的交互式分割方法相对已经较为成熟，有些已经实现实际应用，例如CS3中快速选择(Quick Selection)工具。相比单幅图像的分割，交互式立体图像的智能分割起步较晚。现有针对立体图像进行分割的基本框架是：首先通过立体匹配算法得到视差图。视差图中的每一个像素值表示参考图(预先选定的两幅图中的其中一幅)中对应像素在匹配图中的偏移量。即给定一对立体图和左图对应的视差图，可得到左图像素在右图中的对应像素。得到视差图之后，形式化视差线索，以及在单张图像分割中常用的颜色、梯度等线索，构成能量函数。通过最优化能量函数实现图像分割问题求解。视差图的好坏对于分割结果有重要的影响。然而，现有立体匹配方法得到的视差图存在较多误差，现有基于视差图的立体图像分割方法，例如Price等人在2011年的ICCV上发表的“StereoCut：Consistent Interactive Object Selection in Stereo Image Pairs”中，直接将视差图决定的对应关系形式化在能量函数中，容易导致分割错误，影响分割的智能化。

发明内容

鉴于目前基于视差图的立体图像分割方法在视差使用方面的局限性，本发明在基于视差图的立体图像同步分割的理论框架下，探索新的分割方法，力图减少匹配误差对分割结果的影响，实现提高分割过程智能化的目的。

为实现这个目标，本发明的技术方案为：在用户输入一组立体图像之后，方法自动通过立体图像匹配算法得到视差图。而后，用户可在其中一图中通过笔刷勾画的方式，指定部分前、背景。并自动根据指定部分分别建立前、背景的颜色分布的先验统计模型，以及前、背景的视差分布的先验统计模型。以此为基础，在图割理论框架下形式化颜色、梯度以及视差等约束，构造能量函数。最后，采用图的最大流/最小割算法求解最优化结果。若用户没有得到理想的效果，还可以继续对图中错误区域进行勾画，直到得到理想结果。

与现有技术相比，本发明具有以下优点：本发明以视差图为依据，建立前、背景视差分布统计模型，同时数学形式化图像内视差的变化情况，结合传统约束项构造能量函数，并通过图割算法求解能量函数最小值实现分割。视差分布模型和变化模型均是视差统计信息，有效避免了视差计算误差带来的影响。实验证明：相比现有方法，在同等交互量的前提下，本发明所述方法得到的分割结果更准确。

附图说明

图1为本发明所涉及方法的流程图；

图2为本发明应用实例实验结果：(a)、(b)为输入的左、右图像，(c)、(d)是采用Price等人在2011年的ICCV上发表的“StereoCut：Consistent Interactive Object Selection in Stereo Image Pairs”中的方法计算的结果；(e)、(f)为本发明的分割结果；两种方法所用的用户输入在(c)、(e)图中显示，目标物内部的实线标识前景，目标物区域外的虚线标识背景。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步说明。

本发明的流程如图1所示，具体包括如下步骤：

步骤一，匹配立体图像。

读入一对立体图像I＝{I^l，I^r}，I^l与I^r分别表示左、右图像。利用立体匹配算法计算得到左、右图像对应的视差图，分别用D^l与D^r表示。立体匹配可以采用任意算法，例如Felzenszwalb等人在CVPR04上发表的论文“Efficient Belief Propagation for Early Vision”中提出的算法。

步骤二，添加前、背景线索。