[发明专利]一种复杂街景图像语义分割方法

权利要求书

1.一种复杂街景图像语义分割方法，包括：

第1步、获得待处理图像；

第2步、采用DCNN提取包含位置信息的低级特征；

第3步、采用R-ASPP方法，获取图像足够的高级语义几何和纹理信息；具体操作包括：

考虑多尺度图像特征可以包含更多的特征信息，将第2步操作得到的DCNN输出图像特征经空间金字塔池化模块转换为五个分支；将除全局池化分支外的其余分支经过3×3的普通卷积进一步学习特征图中重要的内容信息，并且采用跳远连接的方式将R-ASPP的原始输入传递到此处与由进一步3×3的普通卷积获取到的图像特征进行融合，将五个分支的输出按照通道维度拼接起来作为R-ASPP部分的输出；

第4步、采用AT-Decoder模块将不同网络结构各部分的特征进行处理和融合；具体操作包括：

采用AT-Decoder模块的DF分支、DC分支和DD分支三种不同网络结构对各部分的特征分别进行处理，最后将各分支得到的结果依次在通道维度上融合；首先，将DF分支的输出与DC分支的输出进行相乘运算得到B2，之后，将B2与DC分支的输出进行相加运算，得到特征图B3，最后使用3×3卷积对融合后的特征图进一步学习特征，得到特征图B4；其中，

采用DF分支处理DCNN学到的包含细节信息在内的低层级特征，设计一个简单的空间注意力模型，使用3×3卷积操作进一步学习主要特征，并采用softmax函数对于特征进行分类；

采用DC分支对DCNN的输出特征图和R-ASPP的输出特征图在通道维度的拼接，使用3×3卷积直接提取包含准确位置信息和完整几何、纹理信息特征；

采用DD分支对编码器模块输出的高层语义特征进行处理，包括设计基于通道的注意力模块关注特征图通道之间的关系，所述注意力模块由两个子分支构成，分别为最大池化和平均池化子分支；随后，加入全连接层，对于各通道之间的特征图进行融合；最后，将最大池化和平均池化两个子分支得到的结果特征图进行融合，以得到包含更多图像信息的通道特征；

第5步、采用双线性插值上采样操作得到最终的分割结果图像。

2.如权利要求1所述复杂街景图像语义分割方法，其特征在于：

所述平均池化子分支能够通过全局描述特征，对特征图中的每一个像素点都有反馈，而最大池化子分支在进行梯度反向传播计算时，只有特征图中响应最大的像素点有梯度的反馈，从而能够作为一个补充。

3.如权利要求1或2所述复杂街景图像语义分割方法，其特征在于，所述第5步的操作包括：

采用双线性插值上采样操作，在保留更多图像特征内容的同时，将图像还原为原图像分辨率大小，得到最终的分割结果图像B5。