[发明专利]一种基于边缘放缩修正的全景分割方法

说明书

本发明公开一种基于边缘放缩修正的全景分割方法，在原全景分割网络添加了一个可以通过边缘筛出细节、补全实例的修正机制，使最终得到的全景分割效果更贴近真实边缘。无需运用学习的方法，仅经过边界框大致定位和限制，再加上边缘的缩放机制，便可以找到目标边缘。根据每个实例对应的边界框确定实例的真实边缘信息，使用该边缘信息对实例分割掩码进行细节修正，最后结合语义分割，形成更优的全景分割掩码。相比于传统的没有边缘修正的全景分割方法，本发明可以提高分割的精度，使得全景分割结果更贴近边缘。相比于仅在边界框内进行边缘修正的全景分割方法，本发明能够考虑到边界框不准确、不完全框住目标实例的情况，使得修正的结果更具有鲁棒性。

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于边缘放缩修正的全景分割方法。

背景技术

全景分割适用于目标识别、跟踪、自动驾驶、医学影像处理等各领域，是近年研究的热点。全景分割是2018年何恺明团队提出的新概念，综合了语义分割和实例分割效果。计算机视觉领域提到的分割，指的是针对图中每一个像素，都确定其属于什么类别。语义分割指的是对图像中同类物体能够用同色掩膜标识出来，达到物体的分类，通常整幅图(包括前景和背景)都可以实现用掩膜来标识。而实例分割在此基础上对前景中单个个体，即使是相同种类的也用不同颜色的掩膜标识。全景分割在综合了以上两种分割的基础上，对于图像中的背景部分只做语义分割，而对于图像中物体部分就做实例分割，区分出每一个个体，达到了全景均参与分割的效果。全景分割的热点问题就是如何能够提高分割准确度，使分割结果更加贴合边缘，效果更加真实。然而，现有的全景分割技术没有考虑到边缘整合的情况，导致最终分割效果与实际物体边缘贴合度不高。

发明内容

本发明所要解决的是现有全景分割方法存在图像分割效果不佳的问题，提供一种基于边缘放缩修正的全景分割方法。

为解决上述问题，本发明是通过以下技术方案实现的：

一种基于边缘放缩修正的全景分割方法，包括步骤如下：

步骤1、将输入的原始图像送入ResNet-FPN特征提取网络得到图像的多维度共享特征融合图；将多维度共享特征融合图分别送入实例分割分支和语义分割分支中；

步骤2、在实例分割分支中，先找出多维度共享特征融合图的感兴趣区域，再对感兴趣区域进行像素校正，后对像素校正的感兴趣区域使用特征金字塔框架进行预测不同的实例所属分类，得到边界框和实例分割掩码；

步骤3、在语义分割分支中，通过对多维度共享特征融合图的每个像素进行细粒度的推理，得到语义掩码；

步骤4、先对将输入的原始图像进行边缘检测，得到边缘检测图像，再筛除掉边缘检测图像中不连通的边缘，记录剩下的连通边缘；

步骤5、基于步骤2所得到的边界框对步骤4所剩下的连通边缘进行筛选，即将包含在同一个边界框内的连通边缘和与同一个边界框相交的连通边缘作为该边界框所属的选出边缘；

步骤6、对每个边界框所属的每个选出边缘分别进行缩放，即：先将每个选出边缘视为初始边缘；再按照预定的缩放层数n和每层缩放距离k对每个初始边缘进行缩放，得到每个初始边缘的n个缩放边缘；后将每个初始边缘及其n个缩放边缘作为每个边界框所属的候选边缘；

步骤7、对每个边界框所属的所有候选边缘进行筛选，即：先计算每个候选边缘上的所有像素点到所属边界框的中心像素点的平均距离；再选择平均距离最大的候选边缘作为最靠近边界框的候选边缘；后将该最靠近边界框的候选边缘进行缩放恢复后作为每个边界框的目标边缘；

步骤8、对步骤7所得到的每个边界框的目标边缘分别做掩码，得到修正后的实例分割掩码；