[发明专利]一种基于目标识别与显著性检测的图像场景多对象分割方法

说明书

本发明公开了一种基于目标识别与显著性检测的图像场景多对象分割方法，包括：在图像训练集上训练语义对象的检测器，并检测输入图像中对象的位置，标定对象的包围盒；对输入的图像进行过分割处理，得到超像素集合，根据包围盒的位置和超像素的语义概率值，计算兴趣区域；在三种稠密尺度上进行场景显著性检测，得到图像的显著图；在兴趣区域内，计算超像素的邻接关系，每一个对象是一种类别；以每个超像素作为场模型的节点，超像素的邻接关系对应场模型中节点之间的连接关系，将显著性和图像特征转化为节点和边的权重值；利用图割算法，在条件随机场模型上进行优化，迭代终止时得到像素的对象标记结果，从而实现多个对象的分割。

技术领域

本发明涉及计算机视觉、图像处理领域内的图像场景理解研究点，具体地说是一种基于目标识别与显著性检测的图像场景多对象分割方法。

背景技术

图像场景语义分割是计算机视觉、图像处理领域内的一个研究难点和研究热点，它涉及到很多应用行业，如智慧旅游、智能交通、公共安全、影视娱乐等。目前，大多数场景语义分割方法还处于场景类别层次的语义分割，即划分出场景中不同类别内容的区域。例如，微软剑桥研究院的Shotton等提出了语义标记的概念，并实现了集识别、分割与标记于一体的场景类别级语义分割算法；麻省理工学院的Liu等提出了一种非参数的场景解析方法，并首次将这种方法定义为语义迁移方法。加州大学默塞德分校的Yang等提出了一种关注于稀少类别的上下文驱动的场景解析方法。随着行业技术的发展，这种类别级的划分，越来越难以满足实际应用对场景内容和对象区域的需求。例如，存在这样的需求：在安全监控系统中，当场景中有多个人出现时，需要算法能够把每个人都划分出来，以便于进一步的分析。然而对于一个场景中出现多个同类别对象的情况，目前还没有较好的方法能够将这多个对象分割出来。

另一方面，在单个对象分割领域，国内外学者提出了一些较为有效的场景对象分割方法，如对象抠取算法、对象共分割算法等。例如，微软剑桥研究院的Rother等提出了对象共分割的概念，将多张图像中的相似对象同时分割出来；明尼苏达大学的Bai等提出了一系列图像和视频对象的抠取算法，通过用户交互提供潜在的对象先验信息。但是这些方法基本上围绕着图像中的视觉内容进行划分，缺少了语义信息，继而也缺少了语义所对应的先验信息，即无法识别和理解所分割对象的语义。

这种情况已经引起国内外的学者们的关注，因此目前的研究工作开始逐步的面向场景对象语义分割。例如，澳大利亚国立大学的Gould等提出一种基于样例随机场模型的图像多对象分割方法，北卡罗莱纳大学教堂山分校的Tighe等提出一种基于样例检测的区域级图像解析方法。由于对象的语义分割本身难度非常大，该方向的研究工作还处于一个初始阶段。针对上述研究现状与存在的问题，本发明提出一种基于目标识别与显著性检测的图像场景多对象分割方法，旨在能够提供准确的具有语义类别信息的多对象区域划分。

发明内容

为了实现上述目的，本发明采取了如下技术方案：

一种基于目标识别与显著性检测的图像场景多对象分割方法，包含：

步骤1、在图像训练集上训练语义对象的检测器，针对输入的测试图像，利用识别分类器给出像素点的语义概率值，利用训练好的检测器检测对象的位置，并标定对象的包围盒，确定对象的大致范围及大致数量；

步骤2、将输入的测试图像进行过分割处理，得到超像素集合，根据包围盒的位置和超像素的语义概率值，计算兴趣区域；

步骤3、对输入的测试图像在三种稠密尺度上进行场景显著性检测，得到像素级的显著图，再根据超像素与像素的对应关系，将像素级的场景显著性转化成超像素级的场景显著值；

步骤4、在兴趣区域内，计算超像素的邻接关系，形成邻接矩阵，兴趣区域外的超像素不在计算范围内；构建条件随机场模型，将多对象分割问题转化成多类别标记问题，每一个对象是一种类别；以每个超像素作为场模型的节点，超像素的邻接关系对应场模型中节点之间的连接关系，为节点和边赋予权重值；