[发明专利]一种基于深度学习的全景分割方法

说明书

本发明公开了一种基于深度学习的全景分割技术。该发明在全景分割方向上具有一定的通用性与泛化能力。在全景分割中子网络之间即存在着较大的差异性，又存在着紧密的联系。一方面语义分割应用于图像背景类别的像素分割，其更关注场景的语义信息；而实例分割注重图像中个体实例的分割，在特征上关注于图像的结构信息。因此本发明根据子网络特点设计相应的注意力模块，使子网络能更好的关注于各自的分割对象。另一方面，图像中背景于前景往往具有丰富的语义关系，合理应用背景与前景的上下文语义能够更好的促进子网络的分割。因此本发明设计语义辅助实例分割模块，使子网络间的特征信息能够更好的交流，达到相互促进的效果。本发明的方法具有良好的通用性，能够很好的运用在各种全景分割网络中。

技术领域

本发明属于计算机视觉领域，属于场景解析中对图像进行像素级分割的图像分割技术。

背景技术

图像分割是计算机视觉领域的一大研究热点，其目的是根据图像中颜色、形状、语义等特征将图像划分为若干区域。在深度学习技术之前，图像分割多采用一些传统的图像处理方法，例如阈值法、区域生长、边缘检测等。随着神经网络的兴起与快速发展，图像分割领域在诸多方面取得巨大的进展。深度学习下的图像分割技术主要包括了语义分割、实例分割与全景分割。语义分割、实例分割与全景分割的示意图如附图1所示。其中左边图像为语义分割示意图，中间为实例分割示意图，右边为全景分割示意图。

图像语义分割的主要任务是对图像中每一个像素点的进行类别预测，实现图像的像素级别分割。实例分割在目标检测的基础上融合了语义分割，实现对实例对象进行像素级别的分割，它在对像素点进行分类的同时赋予每个像素点相对应的实例ID。一般来说，语义分割关注的是图像背景的分割，而实例分割则关注的是前景实例的分割。为了统一语义分割与实例分割的工作，最近学者们提出了一项新的分割任务——全景分割。全景分割融合了语义分割与实例分割，其主要任务是对场景图像中每一个像素点进行语义类别预测(stuff)，并为属于实例目标(things)的像素赋予实例识别号，以实现更为全面的场景理解。全景分割能够提供非常丰富的语义信息与精细的场景图像分割，是未来自动驾驶、生物医学等领域的关键技术。然而，由于全景分割相比语义分割与实例分割更为复杂，目前仍无法实现工业上的应用。

由于语义分割与实例分割属于不同的视觉任务，其输入数据、网络结构及训练策略等都存在着较大的差异，因此全景分割采用两个子网络实现语义分割与实例分割，再经过后处理融合方法对语义分割与实例分割结果进行融合，得到最终的全景分割结果。因此全景分割子网络的分割结果将直接影响全景分割的效果。同时这种方法将会带来大量的冗余计算。在一幅场景图像中，前景与背景往往存在着密切的联系，如何利用两个子网络间的信息相互促进，减少不必要的计算，是全景分割一项重要的研究内容。本发明着力于通过改进全景分割子网络以促进全景分割网络的性能。本发明具有较好的通用性，能够方便的与各种全景分割网络相结合。

发明内容

为了有效的提升全景分割网络性能，本发明针对全景分割子网络特点，分别设计了语义注意力模块、实例注意力模块以增强全景分割子网络的分割能力。同时针对语义分割与实例分割的相关性，设计语义辅助实例模块，增强子网络间的特征信息传递。

本发明所采用的技术方案是：

步骤1：使用ResNet-50和FPN网络作为全景分割特征提取的骨干网络。提取具有多尺度特征信息的特征图C1,C2,C3,C4,C5。

步骤2：将步骤1中C2～C5作为共享特征分别送入语义分割子网络与实例分割子网络中。

步骤3：该步骤是该专利的核心内容之一。语义分割子网络中将共享特征通过语义注意力模块，再进行上采样得到语义分割特征图。语义注意力模块如附图2所示。

步骤4：该步骤是该专利的核心内容之一。实例分割子网络中将共享特征通过实例分割模块，再经过RPN网络得到实例候选锚框。实例注意力模块如附图3所示。