[发明专利]基于上下文级联和多尺度特征细化的语义分割方法及装置

权利要求书

1.一种图像分割的处理方法，其特征在于，所述方法应用于卷积神经网络中，所述卷积神经网络包括基于上下文级联和多尺度特征细化的语义分割网络，其中，所述基于上下文级联和多尺度特征细化的语义分割网络又包括：骨干网络、上下文级联模块、多尺度特征细化模块、上采样模块；所述方法包括：

将图像输入所述骨干网络后，对图像中的语义信息进行编码；

将骨干网络处理后的特征图输入所述上下文级联模块，将各级不同感受野的特征图进行级联操作，获取具有全局特征的多尺度上下文信息的特征图；

将骨干网络处理后的特征图输入所述多尺度特征细化模块通过通道切分及卷积，获取低维阶段多尺度空间信息，通过注意力指导后得到低维多尺度空间特征图；

将所述低维多尺度空间特征图和所述具有全局特征的多尺度上下文信息的特征图在所述多尺度特征细化模块进行深度融合；

将所述深度融合的特征图输入上采样模块，通过上采样后得到和原图像尺寸一样的特征图。

2.根据权利要求1所述的方法，其特征在于，所述上下文级联模块包括：多个不同扩张率组合的密集级联扩张卷积模块；

所述将骨干网络处理后的特征图输入所述上下文级联模块，将各级不同感受野的特征图进行级联操作，获取具有全局特征的多尺度上下文信息的特征图，包括：

所述骨干网络处理后的特征图进入所述上下文级联模块通过通道压缩后，顺序输入所述不同扩张率组合的密集级联扩张卷积模块，在每个所述密集级联扩张卷积模块中依次进行多次不同扩张率的深度可分离卷积和通道递减，提取特征图中不同尺寸目标特征，得到特征图中不同尺寸目标的多尺度上下文信息，通过通道拼接后，和原始输入的特征图融合，所述不同扩张率组合的密集级联扩张卷积模块获取各自的具有不同感受野的多尺度特征图；

所述上下文级联模块将各级所述不同感受野的多尺度特征图级联后得到具有局部特征的多尺度上下文信息特征图；

将所述骨干网络处理后的特征图在所述上下文级联模块中经过通道压缩后进行全局池化操作，通过上采样得到具有全局特征表示的特征图；

所述上下文级联模块通过短期密集级联的方式，将具有全局特征表示的特征图与具有局部特征的多尺度上下文信息特征图进行级联操作，获取具有全局特征的多尺度上下文信息的特征图。

3.根据权利要求2所述的方法，其特征在于，所述密集级联扩张卷积模块有三个，所述三个密集级联扩张卷积模块的不同扩张率由小到大设置。

4.根据权利要求1所述的方法，其特征在于，所述将骨干网络处理后的特征图输入所述多尺度特征细化模块通过通道切分及卷积，获取低维多尺度空间特征图,包括：

所述低维阶段的特征图通过通道切分设置四条分支；

所述四条分支以并行方式分别通过不同扩张率的深度可分离卷积，丰富低维阶段的多尺度空间信息。

5.根据权利要求4所述的方法，其特征在于，所述低维阶段的多尺度空间信息通过注意力机制进行指导，添加约束，得到由注意力指导的低维多尺度空间特征图。

6.根据权利要求5所述的方法，其特征在于，所述注意力机制采用通道注意力。

7.根据权利要求1或5所述的方法，其特征在于，所述多尺度特征细化模块整合所述由注意力指导的低维多尺度空间特征图和所述具有全局特征的多尺度上下文信息的特征图，将高维特征与低维特征进行整合，细化空间细节信息。

8.根据权利要求1所述的方法，其特征在于，所述上采样模块将结果特征图还原至原图像尺寸大小。