[发明专利]基于全局和多尺度全卷积网络的航拍图像分割方法

说明书

本发明公开一种基于全局和多尺度全卷积网络的航拍图像分割方法，其步骤为：构建全局和多尺度全卷积网络；生成训练集；训练全局和多尺度全卷积网络；将待分割的航拍图像输入到训练好的全局和多尺度全卷积网络进行二值分割，生成分割掩码图。本发明利用全局和多尺度全卷积网络对航拍图像进行分割，并在全局和多尺度全卷积网络中嵌入全局模块和多尺度模块，提取更加精细的分割掩码，鲁棒性强，分割精度高。

技术领域

本发明属于图像处理技术领域，更进一步涉及图像分割技术领域中的一种基于全局和多尺度全卷积网络的航拍图像分割方法。本发明可用于从高分辨率航拍图像中检测出建筑物目标并从图像中分割出建筑物所在区域。

背景技术

随着当今社会的不断发展，城镇建设规划成为人们关注的热门话题。随着日益增长的建筑物需求，更多的建筑物给城镇基础设施建设增加了难度，如交通线路规划、排水系统规划、便民设施规划等。航拍图像中的建筑物检测与分割可以帮助建设规划部门对城镇建筑物进行检测和分割，进行城镇化基础设施建设。然而由于航拍图像所含信息丰富，空间细节复杂，建筑物目标在一幅航拍图像中所占区域大小不一，拍摄角度各异，对象多而复杂，外观风格各异，再加上建筑物与周边环境不同程度的遮挡等，都给航拍图像的建筑物检测与分割带来巨大挑战。

陕西师范大学在其申请的专利文献“结合完全残差与特征融合的遥感图像分割方法”(专利申请号：201811306585.4，申请公布号：CN109447994A)中提出了一种基于完全残差与多尺度特征融合的遥感图像分割方法。该方法的实现步骤为：对作为分割的主干网络卷积编码-解码网络进行改进，采用网络作为分割的主干网络，加入聚合多尺度上下文信息的特征金字塔模块，在所述主干网络的编码器和解码器对应的卷积层内部加入残差单元，同时将编码器中的特征以逐像素相加的方式融合到解码器相应层中，最后用改进后的结合完全残差与多尺度特征融合的图像分割网络进行遥感图像的分割。该方法存在的不足之处是，卷积编码-解码网络中的卷积编码-解码网络结构依赖多层卷积层实现，因卷积核大小限制只能提取到局部信息，缺乏全局信息，导致分割精度低。

牟立超在其发表的论文“RiFCN:Recurrent Network in Fully ConvolutionalNetwork for Semantic Segmentation of High Resolution Remote Sensing Images”(IEEE arxiv，2018年5月)中提出了一种基于全卷积递归网络的遥感图像的分割方法。该方法的实现步骤为：处理数据构建训练样本集和测试集；构建一个包含前向流和反向流的双向网络作为语义分割的主体网络；前向流是一种用于特征提取的卷积神经网络，图像经过前向流得到从浅到深的多级卷积特征图，而后向流则利用前向流的所有可用特性，利用循环连接实现高分辨率预测。该方法存在的不足之处是：仅考虑了全卷积网络编码与解码部分的关系，未考虑全卷积网络解码部分各卷积层对最终预测的不同作用，未考虑多尺度特征，造成对图像中大小不一的同类对象难以识别，未考虑网络简单高效性，造成网络分割性能不高。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于全局和多尺度全卷积网络的航拍图像分割方法。

实现本发明目的的思路是，构建全局和多尺度全卷积网络用于对航拍图像进行分割，并在全局和多尺度全卷积网络中嵌入全局模块和多尺度模块，以提升分割效率和分割精度。

本发明的具体步骤包括如下：

(1)构建全局和多尺度全卷积网络：

(1a)搭建一个全局和多尺度全卷积网络，其结构依次为：输入层→特征提取层→第一组合模块→全连接层→反卷积层→第二组合模块→输出层；

所述特征提取层是由VGG16模型中的五个串联的卷积模块组成；

所述第一组合模块有7层，其结构依次为：第一卷积层→转置层→第一相乘层→softmax层→第二相乘层→第二卷积层→相加层；