[发明专利]基于深度信息和图切割的立体图像中显著对象分割方法

说明书

技术领域

本发明涉及通信技术领域，尤其涉及一种基于深度信息和图切割的立体图像中显著对象分割方法。此方法主要是从合理利用深度信息和显著性图以改善显著对象分割结果这一角度来考虑，旨在于利用深度、颜色和空域信息来生成显著性图，再结合深度图和显著性加权的直方图来构建图并设计代价函数，用图切割方法改善显著对象分割的结果。

背景技术

显著对象分割技术是指将视频或者图像中用户感兴趣的对象在像素级上与背景实现分离。现有的分割技术中，主要可利用颜色、方向、纹理等信息来构建显著性模型，并利用生成的显著性图通过图切割方法进行显著对象分割。但研究结果还存在不少缺点，算法的通用性和准确性有待提高。

随着立体成像和显示技术的不断发展和普及，利用立体摄像机或者是Kinect传感器获得的深度信息可以在一定程度上提升显著性模型和显著对象分割方法的性能。Fan等人于2014年在香港举行的第19届Digital Signal Processing(DSP)会议上发表的“立体图像的显著区域检测”中提出了一个结合深度信息的显著性模型，该模型有效地利用了深度信息，大大提高了显著性性能，本发明即采用该模型生成的显著性图作为分割方法的输入图像之一。

发明内容

本发明的目的在于合理利用深度信息和显著性图，进而改善显著对象分割结果，提出一种基于深度信息和图切割的立体图像中显著对象分割方法，该方法与传统的仅利用颜色和显著性图的显著对象方法相比，引入了深度信息，提高了显著对象分割性能。

为了达到上述目的，本发明采用的方案如下：

一种基于深度信息和图切割的立体图像中显著对象分割方法，其具体步骤如下：

步骤一、输入原始图像和深度图，对原始图像及深度图进行预分割，并生成显著性图；

步骤二、对步骤一得到的显著性图取定一个阈值，得到对象/背景种子点，以完成原始图像的初始分割；

步骤三、将显著性图、深度图和原始图像作为图切割的输入，利用显著性图，结合深度图和显著性加权的直方图来构建图，并设计代价函数；

步骤四、利用最大流最小割算法一次性完成显著对象的分割。

优选地，所述步骤一结合区域级的深度、颜色和空域信息利用Fan提供的显著性模型生成区域级显著性图。

优选地，所述步骤二通过对显著性图取阈值的方法将图像分成两个部分，显著性值大于阈值的那部分像素作为对象种子点，标记为obj，显著性值小于阈值的那部分像素作为背景种子点，标记为bkg。

优选地，所述步骤三结合深度图和显著性加权的直方图以构建图并设计代价函数，其表达式如下：

E(L)＝R(L)+λ·B(L)+β·E(θ_obj,θ_bkg)

其中，L表示像素点标记的二元向量，标记包括对象标记和背景标记，记为obj和bkg；R(L)为数据项，反应每个像素被标记为对象或背景的惩罚程度；B(L)为平滑项，主要用来惩罚获得不同标记的相邻像素，本方法主要考虑相邻像素之间颜色的差异性；E(θ_obj,θ_bkg)为外观重叠项，反应对象区域和背景区域在颜色直方图上的差异性；λ和β为平衡因子。

优选地，所述步骤四所述的最大流最小割算法采用最大流最小割算法割图实际上是对上述步骤三中公式的代价函数求解最小值的过程。

本发明与现有技术相比，具有如下显而易见的实质性特点和优点：本发明提供一种基于深度信息和图切割的立体图像中显著对象分割方法，该方法首先输入原始图像和深度图，对所述原始图像和深度图进行图像分割，获得若干个区域，然后结合区域级的深度、颜色和空域信息生成原始图像的显著性图；再对显著性图取定一个阈值，得到对象/背景种子点，以完成原始图像的初始分割；之后利用深度图和所述计算得到的显著性图，以及显著性加权的直方图来构建图并设计代价函数；最后用图切割的方法对原始图像进行自动化分割。该方法合理利用深度信息，对立体图像能更加准确地自动分割出显著性对象。与现有的技术相比，本发明分割方法具有如下优点：合理利用深度信息和图像的显著性，为图切割提供了良好的种子点；在图切割的过程中，再次引入深度信息，与显著性图、显著性加权的直方图相结合来构建图并设计代价函数，利用最大流最小割算法完成分割，得到了更好的分割结果。

附图说明

图1为本发明的基于深度信息和图切割的立体图像中显著对象分割方法的流程图；