[发明专利]一种天空区域分割方法、装置和卷积神经网络

权利要求书

1.一种基于卷积神经网络的天空区域分割方法，其特征在于，所述卷积神经网络包括图像输入层、第一卷积神经网络、级联的多个第二卷积神经网络、上采样层和天空区域确定层，所述方法包括：

所述图像输入层获取原始图像；

所述第一卷积神经网络从所述原始图像中提取不同尺度的多个天空特征图像；每个所述天空特征图像的尺度均小于所述原始图像的尺度；

所述级联的多个第二卷积神经网络对所述多个天空特征图像进行处理，输出目标特征图像；所述目标特征图像的尺度与所述多个天空特征图像中的最大尺度相同；

所述上采样层对所述目标特征图像进行上采样，获得与所述原始图像尺度相同的上采样特征图像；

所述天空区域确定层将所述上采样特征图像中灰度值大于或等于预设灰度值的像素区域确定为天空区域。

2.根据权利要求1所述的方法，其特征在于，所述多个天空特征图像包括第一天空特征图像、第二天空特征图像、第三天空特征图像和第四天空特征图像，所述第一天空特征图像的尺度为所述第二天空特征图像尺度的1/2，所述第二天空特征图像的尺度为所述第三天空特征图像尺度的1/2，所述第三天空特征图像的尺度为所述第四天空特征图像尺度的1/2；所述级联的多个第二卷积神经网络包含三级第二卷积神经网络；

所述级联的多个第二卷积神经网络对所述多个天空特征图像进行处理，输出目标特征图像，包括：

第一级第二卷积神经网络对所述第一天空特征图像和所述第二天空特征图像进行特征处理，获得与所述第二天空特征图像尺度相同的第一中间目标特征图像；

第二级第二卷积神经网络对所述第一中间目标特征图像和所述第三天空特征图像进行特征处理，获得与所述第三天空特征图像尺度相同的第二中间目标特征图像；

第三级第二卷积神经网络对所述第二中间目标特征图像和所述第四天空特征图像进行特征处理，获得与所述第四天空特征图像尺度相同的目标特征图像。

3.根据权利要求2所述的方法，其特征在于，所述第一卷积神经网络为VGG-19卷积神经网络；所述第四天空特征图像为所述第一卷积神经网络中第4卷积层的输出图像，所述第三天空特征图像为所述第一卷积神经网络中第8卷积层的输出图像，所述第二天空特征图像为所述第一卷积神经网络中第12卷积层的输出图像，所述第一天空特征图像为所述第一卷积神经网络中第16卷积层的输出图像。

4.根据权利要求2所述的方法，其特征在于，所述第四天空特征图像的尺度为所述原始图像尺度的1/2，所述第三天空特征图像的尺度为所述原始图像尺度的1/4，所述第二天空特征图像的尺度为所述原始图像尺度的1/8，所述第一天空特征图像的尺度为所述原始图像尺度的1/16。

5.根据权利要求1所述的方法，其特征在于，每级所述第二卷积神经网络均包括：

残差卷积单元，用于对输入的特征图像进行全局特征提取；

多尺度融合单元，用于对所述残差卷积单元输出的特征图像进行特征融合；

链式残差池化单元，用于对所述多尺度融合单元输出的特征图像进行低频特征提取；

卷积输出单元，用于对所述链式残差池化单元输出的特征图像进行卷积，得到中间目标特征图像或目标特征图像。

6.根据权利要求5所述的方法，其特征在于，所述残差卷积单元包括：

第一激活函数子单元，用于对输入的特征图像进行非线性处理；

第一卷积子单元，用于对所述第一激活函数子单元输出的特征图像进行卷积；

第一批量归一化子单元，用于对所述第一卷积子单元输出的特征图像进行正则化处理；

第二激活函数子单元，用于对所述第一批量归一化子单元输出的特征图像进行非线性处理；

第二卷积子单元，用于对所述第二激活函数子单元输出的特征图像进行卷积；

第二批量归一化子单元，用于对所述第二卷积子单元输出的特征图像进行正则化处理；

第一叠加子单元，用于对输入所述第一激活函数子单元的特征图像和所述第二批量归一化子单元输出的特征图像进行特征叠加。