[发明专利]语义分割方法、网络、设备及计算机存储介质

说明书

本发明公开了一种语义分割方法、网络、设备及计算机存储介质，包括：提取输入图像的深层特征，基于深层特征进行粗分割，得到粗分割结果；基于深层特征，利用多任务损失函数获得区域存在性预测结果；提取输入图像的浅层特征，区域存在性预测结果为输入，获得区域存在性预测概率映射结果，结合浅层特征与区域存在性预测概率映射结果，提取区域存在性指导的局部特征；结合粗分割结果和区域存在性指导的局部特征进行分割修正，得到分割修正结果；基于分割修正结果计算得到像素级语义分割结果。解决精确语义分割存在的问题。达到高效的多层特征融合，减少计算开销和对于原始粗分割结果和双线性插值的依赖性，实现高效、准确的像素级语义分割。

技术领域

本发明涉及计算机视觉领域，尤其涉及一种语义分割方法、网络、设备及计算机存储介质。

背景技术

语义分割是一种像素级别的分类任务，为输入图像的每个像素分配所属的语义标签，广泛应用于自动驾驶、增强现实等应用中。目前，卷积神经网络是语义分割的主流方法，通过堆叠卷积核和下采样操作扩大感受野，由浅到深的提取不同层次的信息。一般而言，低层特征提取局部、纹理信息，有利于边界精细分割；深层特征提取全局、语义信息，从而更准确地判断物体类别。但深层特征经过多次下采样，而语义分割要求与输入尺寸一致的精细预测结果。为了语义分割的高分辨率要求，主要有两类处理方法：(1)使用编码器-解码器结构，通过跳跃连接融合多层特征，逐层恢复空间分辨率；(2)使用空洞卷积修改主干网络，减少特征提取过程中的分辨率损失。

第一种方法要求解码器结构的精心设计，并且随着编码器部分的主干网络加深，有限的计算资源限制了解码器的尺寸。此外，尽管低层特征可以补充高分辨率的信息，但由于其局部响应特性，这些特征难以具有语义类别的区分性。因此，低层特征提取的信息对于语义分割而言是带噪的，而现有的跳跃连接和通道级联方法难以对其进行去噪处理。第二种方法通常伴随一个连接在主干网络后的头部模块，侧重于头部模块的设计以增强全局信息的提取和传播。尽管这种方法减少了下采样次数，但最终预测结果由下采样的粗分割直接插值得到，精度严重受限于粗分割结果和插值算法。

发明内容

有鉴于此，提供一种语义分割方法，解决精确语义分割存在的问题。

本申请实施例提供了一种语义分割方法，包括：

提取输入图像的深层特征，基于所述深层特征进行粗分割，得到粗分割结果；

基于所述深层特征，利用多任务损失函数获得区域存在性预测结果；其中，所述区域存在性预测结果为各语义类别在每个区域的存在概率；

提取所述输入图像的浅层特征，以所述区域存在性预测结果为输入，获得区域存在性预测概率映射结果，结合所述浅层特征与所述区域存在性预测概率映射结果，提取区域存在性指导的局部特征；其中所述区域存在性指导的局部特征为具有类别区分性的浅层特征；

结合粗分割结果和所述区域存在性指导的局部特征进行分割修正，得到分割修正结果；

基于所述分割修正结果计算得到像素级语义分割结果。

在一实施例中，所述基于所述深层特征进行粗分割，得到粗分割结果，包括：

基于所述深层特征进行1×1卷积计算将通道降至预设语义类别数。

在一实施例中，所述提取输入图像的深层特征，包括：

通过特征提取网络对输入图像进行深层特征提取。

在一实施例中，所述提取所述输入图像的浅层特征，包括：

对输入图像特征进行对称卷积，并进行批标准化；

对输入图像特征引入两支与对称卷积平行的不对称卷积层进行不对称卷积，并进行批标准化；

将对称卷积批标准化结果和两个不对称卷积批标准化结果相加；