[发明专利]一种交互式自然图像抠图方法

说明书

本发明属于计算机视觉技术领域，提供了一种交互式自然图像抠图方法，实现一种用户友好地简单交互式图像抠图框架，分为超像素划分、信息区域选取、用户划线、马尔科夫传播和CNN传播5个阶段。整体框架通过简单的用户交互实现准确、高效的图像蒙版生成，一些图像细节都可以准确地预测。马尔科夫链与深度学习的结合在有限邻域和全图上进行有效的标签传播与扩散，实现有限用户交互的最大化标注。本发明得到更为精准的抠图蒙版，同时又比依赖于三分图的抠图算法节省大量的运算时间，实现了图像抠图准确度与代价之间的有效平衡。

技术领域

本发明属于计算机视觉技术领域，涉及马尔可夫链与深度学习的交互式自然图像抠图的方法。

背景技术

近年来，随着互联网与移动设备的不断发展，图像越来越成为人类生活中不可或缺的一部分，相应一些图像相关的处理技术也伴随着大众的需求而在研究领域逐渐发展起来。图像分类、语义分割等技术一直是图像处理领域的热门话题，但伴随着电影制作、在线直播、人像美化等工业、生活应用水平的提高，传统的图像分割已经不能满足人们对于前景精细化的要求，而对应的图像抠图得到了更多的重视与关注。相比于图像分割，抠图技术不仅仅要求将图像中的物体分割出来，更要求一些头发丝、动物毛发，植物枝干等精细化的图像细节，都能在分割结果中精确的展示。这样精细化的分割更能满足人们对于高质量生活的追求，对于一些工业、研究等领域更具有吸引力和挑战性。

图像抠图要求精确到像素的准确分割，对应的出发点是最基本的图像合成公式：

I_z＝αF_z+(1-α)B_z,α∈[0,1]  (1)

其中z表示图像中的一个像素点，而I表示我们实际观测到的z点，F和B分别表示z点出的前景值和背景值，α表示前景和背景所占的比例，也可以看作是前景到背景的透明度。图像合成公式定义了最基本的图像成像的像素级解释：图像中的每一个像素点都是由前景和背景组成的，α＝1表示z点为前景，即完全不透明，α＝0表示z点为背景，即完全透明。α∈(0,1)的区域表示该像素点处于前景和背景的临界区域(如人的头发，植物密密麻麻的枝干，半透明区域等)，这些区域是由前景和背景混合在一起形成的，这就是图像抠图需要求解的过渡区域。由α值构成的灰度图像，即是抠图技术的目标图像蒙版(alphamatte)。

公式(1)是一个欠约束的公式，对于常见的彩色RGB三通道图片来说，有7个需要求解的变量，因此现有的抠图算法都是依赖额外的辅助图片，结合输入的RGB图片来实现图像蒙版的计算。主要的辅助图片有两大类：三分图和笔画图。三分图将原始彩色图片分成白色、黑色和灰色三部分，其中白色区域表示前景，黑色区域表示背景，而灰色区域则表示前景和背景之间的过渡区域。笔画图则是简单地在图片上绘制几笔来标明前景、背景和过渡区域。两类辅助图片都可以对于图像中的一些像素点进行分类，抠图算法解决的问题就是如何根据辅助图片提供的已有信息来实现整张图像蒙版的计算。

虽然三分图能够提供整张的注释，但需要大量的时间和精力来进行标注，在实际应用中的可行性很差。而笔画图虽然对于用户比较友好，用户只需要绘制几笔就可以实现图像蒙版的计算，显然笔画的数量对于蒙版质量有着决定性的作用，而笔画的位置也需要满足一些边界平滑性的假设或先验分布。近几年产生了很多基于深度学习的方法，但它们大都依赖三分图来保证预测蒙版的质量，而且深度学习的方法通常在合成数据集上进行训练，导致它们在真实世界的图片上效果较差。

发明内容

本发明针对现有方法的不足之处，提出了一种基于级联传播的交互式图像抠图框架。本框架能够自主选择出一些满足抠图算法先验分布或边缘光滑性假设的区域，称之为信息区域，然后由用户在信息区域进行简单地绘制，标明前景、背景和过渡区域。用户给出的类别标签先是经过马尔可夫链进行邻域之间的传播，然后更新出超像素之间的类别转移概率，然后由卷积神经网络(CNN)进行整张图片的传播，实现最终的精细化图像蒙版。

本发明的技术方案：