[发明专利]基于图神经网络的全景分割方法、系统、设备及存储介质

说明书

本发明公开了一种基于图神经网络的全景分割方法，包括：从图片中提取多个目标特征；通过实例分割头部网络以得到图片的前景类别概率、背景类别概率及掩膜结果，通过语义分割头部网络以得到图片的初步语义分割结果；通过前景类别概率对新前景图进行处理以生成实例分类结果，并根据掩膜结果从实例分类结果中提取目标实例分割掩膜；通过背景类别概率及初步语义分割结果对新背景图进行处理以生成目标语义分割结果；采用启发式算法对目标实例分割掩膜及目标语义分割结果进行融合，生成全景分割结果。本发明还公开了一种基于图神经网络的全景分割系统、计算机设备及计算机可读存储介质。采用本发明，可利用物体之间的相互关系优化图片的全景分割效果。

技术领域

本发明涉及图像数据处理技术领域，尤其涉及一种基于图神经网络的全景分割方法、基于图神经网络的全景分割系统、计算机设备及计算机可读存储介质。

背景技术

图像分割（image segmentation）技术是计算机视觉领域的研究热点，它在人们生活中的方方面面都有着非常广泛的应用，如自动驾驶领域的地图构建、医学影像领域的自动化诊断、日常生活中的虚拟试穿等。

图像分割技术分为语义分割（Semantic Segmentation）、实例分割（InstanceSegmentation）及全景分割（Panoptic Segmentation）。其中：

语义分割要求对图像中的每一个像素都赋予一个类别标签，但是不对相同物体的不同实例进行区分。比如，如果一个像素被标记为红色，那就代表这个像素所在的位置是一个人，但是如果有两个都是红色的像素，则无法判断它们是属于同一个人还是不同的人，也就是说语义分割只能判断类别，无法区分个体。

实例分割则要求识别出图像中的每个物体以及区分物体实例，而忽略背景像素的分割。也就是说，实例分割不需要对每个像素进行标记，它只需要找到感兴趣物体的边缘轮廓就行。

全景分割是语义分割和实例分割的结合，要求对图像中的每个像素都赋予类别，并且对属于可数物体的像素，还要区分物体实例。但是，现有的全景分割技术没有考虑图片中前景和前景、背景和背景、前景和背景之间的关系，仅仅是两个独立的任务，没有像人类一样从物体关系的层面来进行推断。比如，一般来说，在湖上的物体更可能是一艘船而不是一辆车；如果背景是天空，那么前景物体更可能是小鸟而不是鱼；人牵着的更可能是一只狗而不是一匹狼。因此，现有的全景分割技术预测效果并不好，经常有误判的情况发生。

发明内容

本发明所要解决的技术问题在于，提供一种基于图神经网络的全景分割方法、系统、计算机设备及计算机可读存储介质，可将全景分割网络应用于图片处理中，使预测更准确，网络解释性更强。

为了解决上述技术问题，本发明提供了一种基于图神经网络的全景分割方法，包括：通过ResNet-50网络及FPN网络对图片进行特征提取，以提取多个目标特征；通过实例分割头部网络并根据所述目标特征以得到图片的前景类别概率、背景类别概率及掩膜结果，通过语义分割头部网络并根据所述目标特征以得到图片的初步语义分割结果；通过前景图神经网络对原始前景图进行处理以生成新前景图，通过所述前景类别概率对所述新前景图进行处理以生成实例分类结果，并根据所述掩膜结果从所述实例分类结果中提取目标实例分割掩膜；通过背景图神经网络对原始背景图进行处理以生成新背景图，通过所述背景类别概率及初步语义分割结果对所述新背景图进行处理以生成目标语义分割结果；采用启发式算法对所述目标实例分割掩膜及目标语义分割结果进行融合，生成全景分割结果。

作为上述方案的改进，所述通过ResNet-50网络及FPN网络对图片进行特征提取，以提取多个目标特征的步骤包括：通过ResNet-50网络对图片进行特征提取，以提取初步特征；通过FPN网络对所述初步特征进行特征提取，以提取多个目标特征。