[发明专利]局部形状迁移指导的图像对象共分割方法

说明书

本发明涉及局部形状迁移指导的图像对象共分割方法，包括：输入M幅包含相同语义类别对象的图像，对每幅图像进行显著性分析，生成前背景初始分割结果；对任意两幅图像进行稠密特征点匹配；根据匹配结果，建立每一局部图像区域与来自其他图像的局部区域之间的对应关系；采用局部线性结构保持算法学习对应关系的权重；使用迭代求解算法在对应局部区域之间传递其前背景分割结果，得到最终分割结果。本发明在相同语义类别的图像对象共分割方面有良好的表现，可应用于图像内容理解，图像对象识别等领域。

技术领域

本发明属于图像处理、计算机视觉技术领域，是局部形状迁移指导的图像对象共分割方法。

背景技术

给定包含相同语义类别对象的图像集，图像对象共分割技术主要考虑如何从中分割出共同的对象，以便开展图像内容理解、对象检测等更高层次的视觉理解工作。在2006年，Rother等人首次提出图像对象共分割的概念，利用产生式模型在包含相同类别的图像对上进行对象前背景分割，该方法使用高斯模型产生潜在前景直方图，并将图像对在前景直方图的差异作为一项全局约束加入基于马尔科夫随机场的能量中，最后采用TRGC优化算法得到共分割结果。目前，多幅图像的共分割大致分为两个方向：基于统一模板学习的共分割和基于区域匹配的共分割。

基于统一模板学习的共分割方面，在2010年，Joulin等人提出了一种基于判别聚类的图像对象共分割方法，他们将现有的单张图像分割算法(归一化分割)和对象检测算法(核方法)集成到一个新的判别聚类框架中，目标是对多幅图像进行前背景分割。首先，该方法为保持单幅特定图片在空间和外观上的一致性，利用像素点的坐标及RGB颜色值作为特征计算相似度矩阵，在得到标准化拉普拉斯矩阵L后采用类似归一化分割的谱分割算法得到图像内部的分割结果；其次，该方法为使同时分割的多幅图像产生关联，使用了基于正定核的判别聚类算法实现不同图像之间前背景差异最大化；最后，该方法通过将空间一致性拉普拉斯矩阵L和判别聚类损失矩阵A进行组合，将多幅图像的共分割转化为一个组合优化问题，并通过将其松弛为连续的凸优化问题实现多幅图像共分割。然而，当共分割对象的外观模型复杂程度增大，或前景区域与背景区域十分相似时，共分割对象在全局形状上的不一致性将导致很难学习到统一的模板用于前景对象的分割，此时基于统一模板学习的共分割方法便不能很好的区分前景对象与背景区域。

基于区域匹配的共分割方面，在2013年，Wang等人提出一种一致性泛函映射方法，通过计算图像间在外观上的关联性实现多幅图像的共分割，该方法包含三个部分。第一部分：将每幅图像分割成超像素块，并将每幅图片表示为无向图，图中顶点表示超像素块，图中边的权值由超像素块公共边的长度决定，通过给每个图计算一个标准化的拉普拉斯矩阵为每幅图片生成一个维度较低的泛函空间，同时分割结果表示成包含对象的超像素块的集合。第二部分：将两幅图像之间的关联性表达成线性泛函。第三部分：联合优化分割函数产生分割结果，该过程需要匹配单幅图像上的分割先验，同时保持相邻图像间泛函映射时的一致性。该方法既可以实现无监督的共分割，也可以通过使用部分图像的真实分割结果进行有监督的共分割。基于区域匹配的共分割方法在公开数据集上取得了令人满意的结果，但前景对象在外观发生较大变化时，会极大的影响最终的分割结果。

局部形状迁移是一种广泛应用于基于数据驱动的前背景分割方法，该方法能将真实分割结果迁移到测试图像上，达到对单张测试图像进行前背景分割的目的。在2015年，Yang等人提出了一种通过局部形状迁移实现数据驱动下的对象分割方法，该方法首先输入一幅测试图像和多幅带有真实分割结果的样本图像，然后采用Barnes在2010年提出的PatchMatch方法实现以局部patch块为单位的多尺度图像匹配，通过匹配结果为测试图像上每一个局部patch块得到在其他图像上的近似局部patch块，最后采用MRF能量函数得到最终分割结果。