[发明专利]基于上下文级联和多尺度特征细化的语义分割方法及装置

说明书

本发明公开了一种基于上下文级联和多尺度特征细化的语义分割方法及装置，所述方法应用于卷积神经网络，卷积神经网络包括基于上下文级联和多尺度特征细化的语义分割网络，方法包括：图像输入骨干网络进行特征编码；后输入上下文级联模块，各级不同感受野的特征图进行级联操作，获取具有全局特征的多尺度上下文信息特征图；将低维阶段的特征图输入多尺度特征细化模块通过通道切分及卷积，获取低维阶段多尺度空间信息，注意力指导后得到低维多尺度空间特征图，并和具有全局特征的多尺度上下文信息特征图深度融合，通过上采样实现特征图的预测。本发明实现了在资源受限平台上挖掘多尺度上下文信息和细化空间细节时更好的平衡分割准确率和推理速度。

技术领域

本发明涉及计算机视觉领域，尤其涉及一种基于上下文级联和多尺度特征细化的语义分割方法及装置。

背景技术

目前流行的语义分割网络，很多都侧重于准确率，这些网络都需要大量的计算开销，这样就造成了推理速度非常慢，难以部署在实际应用场景中。另一方面，很多工作为了追求实时推理速度，牺牲了分割网络的性能。因此，在语义分割领域中，平衡准确性和实时性就成为一项艰巨的挑战。

全卷积网络FCN问世以来，就将语义分割带到了一个全新的方向，跟以往方法不同，其做的最大变化，就是将原始CNN最后的全连接层替换成卷积层，实现像素级的密集预测，很大程度上提高了分割精度。自此，出现了很多语义分割模型，都是采用FCN的架构，例如U-Net，SegNet，DeepLab系列，RefineNet，PSPNet等，还有一些侧重于准确率的模型，上述的这些分割模型在CityScapes数据集上，都取得了很高的准确率，这些语义分割模型都采用了大型且复杂的骨干网络，有着很多计算开销比较大的操作，虽然可以对图像中的特征进行充分的提取，但是大量的复杂计算操作也造成了网络的推理速度非常慢，这样是不能满足一些对实时性有要求的应用场景。

针对上述问题，在资源欠佳的情况下，能满足实时性要求的实时语义分割，并通过对分割网络中的参数量、计算复杂度、准确率、推理速度等方面进行综合考量，以快速的推理速度达到较高的预测准确率尤为重要。

发明内容

为了解决现有的技术问题，本发明实施例提供了一种基于上下文级联和多尺度特征细化的语义分割方法及装置。所述技术方案如下：

第一方面，提供了一种图像分割的处理方法，其特征在于，所述方法应用于卷积神经网络中，所述卷积神经网络包括基于上下文级联和多尺度特征细化的语义分割网络，其中，所述基于上下文级联和多尺度特征细化的语义分割网络又包括：骨干网络、上下文级联模块、多尺度特征细化模块、上采样模块；所述方法包括：

将图像输入所述骨干网络后，对图像中的语义信息进行编码；

将骨干网络处理后的特征图输入所述上下文级联模块，将各级不同感受野的特征图进行级联操作，获取具有全局特征的多尺度上下文信息的特征图；

将骨干网络处理后的特征图输入所述多尺度特征细化模块通过通道切分及卷积，获取低维阶段多尺度空间信息，通过注意力指导后得到低维多尺度空间特征图；

将所述低维多尺度空间特征图和所述具有全局特征的多尺度上下文信息的特征图在所述多尺度特征细化模块进行深度融合；

将所述深度融合的特征图输入上采样模块，通过上采样后得到和原图像尺寸一样的特征图。

进一步的，所述上下文级联模块包括：多个不同扩张率组合的密集级联扩张卷积模块，所述将骨干网络处理后的特征图输入所述上下文级联模块，将各级不同感受野的特征图进行级联操作，获取具有全局特征的多尺度上下文信息的特征图，包括：