[发明专利]一种基于区域上下文关系模块的语义分割方法

说明书

本发明涉及一种基于区域上下文关系模块的语义分割方法，属于遥感图像处理领域。该方法包括以下步骤：S1：遥感图像增强；S2：构建RC‑Module；S3：建立基于RC‑Moudle的遥感图像语义分割模型RC‑Net；S4：MIOU检验与评价。RC‑Moudle是语义分割模型中attention机制的一种衍生，可以让模型针对各个区域周边的上下文关系的学习进行一定程度的导向，让模型学习到各个区域之间的相邻关系，从统计学的角度增加用于模型分类的信息量，从而增加语义分割的分类精度。同时RC‑Module是一个即插即用的模块，它可以和任何现有的语义分割模型进行组合，从而提升模型的精度。

技术领域

本发明属于遥感图像处理领域，涉及一种基于区域上下文关系模块的语义分割方法。

背景技术

语义分割是一项密集预测的任务，它直接对图像的每个像素进行像素级别的预测。目前在遥感图像领域，高分辨率和可获取性极高的特性，极需要一种有效的语义分割模型来对遥感图像进行有效的应用，而注意力机制可以针对性的对语义分割模型的学习过程进行导向，可以让模型学习到遥感图像更精细的特征表示。Long等人于2015年首次将全卷积的技术应用到语义分割领域，第一次从精度上对整个领域进行巨大的提升，其舍弃全连接层的方式被后来的模型持续的学习和借鉴。仅仅2015年一年，，U-Net，FCN，Seg-Net，Deconv-Net，Deeplabv1，Parse-Net，如春笋般层出不穷，将语义分割的可应用性不断提升；在这期间诞生了很多新的技术，如Olaf等人的skip链接，Vijay等人的unpooling，Hyeonwoo的deconv,以及Deeplab系列最让人津津乐道的空洞卷积；而在2017年，Non-Local的作者将NLP中注意力机制的思想成功应用到语义分割领域。注意力机制的出现，为语义分割模型提供了新的研究思路，而模型也就是在注意力机制的基础上进行衍生的。

在使用普通的语义分割模型对图像进行预测分割的时候，在预测区域的边界处很容易出现边界的模糊或者混乱，很多时候甚至出现错误分类，而这种现象是由于模型在学习和提取图像特征的阶段，并没有学习到每一个区域之间的上下文关系；而注意力机制可以有效的解决这个问题。语义分割领域也有很多基于注意力机制进行衍生的分割模型，如CCNet通过设计一种Criss-crossattention模块的方式，导向模型着重学习特征十字骨干的特征，从而在一定程度上学习特征的长程关系；OCRnet通过设计一种对象上下文模块，让模型学习一种对象特征增强的特征图；但这些语义分割模型都没有学习区域之间的上下文关系，所以边界像素分类混乱和边界错误分类的情况依然存在，这种情况可以通过设置导向模型学习区域上下文关系的模块，从而有效解决。

本发明通过考虑各个区域之间的上下文关系的方法来增强模型的分割精度，使用注意力机制的方式，将特征增强和注意力机制导向模型学习的方式相互结合，提出了一种基于区域上下文关系模块的遥感图像语义分割方法，可以在一定程度上提高模型的精度，使模型对各个区域之间边界的精细程度和分类上更加准确。注意力机制的设计，不仅训练速度快，模型的内存占用也很小。RC-Module是一个即插即用的模块，它可以和任意的语义分割模型结合，作为该模型对区域上下文特征的增强模块，从而提升模型的精度。Hengshuang Zhao从信息流的角度设计了一种考虑点和点之间上下文关系的pointwisespatial attention模块用于导向模型学习图像中所有像素之间的影响关系，没有考虑区域之间的完整性，单独的对各个像素进行考虑，很容易形成椒盐模式的预测结果。而OCR-Net采用增强对象特征的方式，让模型对对象的特征进行了导向的学习，将一个对象范围内的特征作为对象特征，解决了椒盐效应，但并没有考虑各个区域之间的上下文关系。本发明基于RC-module构成的语义分割模型进行遥感图像的语义分割，对图像的区域上下文特征进行有效的学习。

发明内容

一种基于区域上下文关系模块的语义分割方法，其特征在于：该方法包括以下步骤：

S1：遥感图像增强；

S2：构建RC-Module；