[发明专利]基于多尺度CAM和超像素的遥感图像弱监督建筑提取方法

说明书

本申请涉及一种基于多尺度CAM和超像素的遥感图像弱监督建筑提取方法，现有的弱监督方法大多都是基于类激活图(class activation maps,CAMs)的，而且CAM的质量对这些方法的性能有着至关重要的影响。然而，现有的方法无法生成用于遥感影像建筑物提取的高质量CAM。本申请提出一种用于高分辨率遥感图像建筑物提取的弱监督方法MSCAM‑SR‑Net，它将多尺度CAM和超像素精细化相结合用于生成精细的CAM。在MSCAM‑SR‑Net中，我们提出多尺度生成模块以充分利用多层次特征生成多尺度CAMs，从而获得完整而准确的建筑目标区域；而超像素精细化模块则是为了利用超像素在目标完整性和建筑物边界上进一步提高CAM的质量。

技术领域

本发明设计了一种高分辨率遥感影像建筑物提取方法，更具体地说是涉及基于多尺度CAM和超像素的遥感图像弱监督建筑提取方法。

背景技术

高分辨率遥感影像建筑物提取在人口估算、城市化评估和城市规划等诸多重要应用中都发挥着至关重要的作用。该任务的目标是将每个像素分类为建筑类或非建筑类，因此可视为二分类语义分割问题。这是一项具有挑战性的任务，因为建筑物的高度多样性，以及与其他人造地物的混淆(如道路)。由于全卷积神经网络(fully convolutional neuralnetworks,FCN)在层次特征学习方面的能力，许多研究人员都基于FCN对这一任务开展研究。FCN方法已经取得了令人满意的效果，并成为建筑物提取的主流方法。然而，FCN需要大量带有像素级标注的训练图像，而准备这样训练数据集是非常昂贵和极其耗时的。像素级标签的需求可以通过基于较少空间信息标注的弱监督学习来解决。这些标注更便宜，也更容易获得，比如涂鸦标注、点标注、边框标注和图像级标注。在这些较弱的标注中，图像级标签是最容易获得的，因为它们只表明图像中是否存在对象类，而不提供关于它们的位置或边界的任何信息。本申请中，我们主要研究面向建筑物提取的基于图像级标签的弱监督语义分割。

基于图像级标签的弱监督语义分割是非常困难的，因为它需要从图像中物体的存在来恢复其精确的空间信息。为此，现有的工作通常依赖类激活映射(class activationmaps,CAM)来获取对象掩膜，然后将其制成伪标签用于训练语义分割网络。而且CAM的质量对这些方法的性能有着至关重要的影响。然而，现有方法无法生成用于遥感图像建筑物提取的高质量CAM，因为它们主要是针对自然场景图像的(如PASCAL VOC 2012数据集)，没有考虑遥感图像中建筑物的特点:(1)同一图像中建筑物目标的尺度变化更大；(2)建筑物与背景区域的混淆更加复杂；(3)建筑物需要更精确的边界。

考虑到遥感图像中建筑物目标的特点，多层次特征是生成用于建筑物提取的高质量CAM的关键。具体来说，由于下采样层的存在，卷积神经网络(convolutionalneuralnetworks,CNN)中的多层次特征包含了内在的多尺度信息，其有利于识别不同大小的建筑物目标。此外，CNN中的低层特征包含了大量底层信息(如纹理和边缘信息)，它们可以用于从背景区域中识别建筑物目标，且也适合用于识别建筑物的精确边界。因此，许多研究人员利用CNN的多层次特征来生成CAM。MS-CAM利用具有注意力机制的全连接层直接合并多层次特征。WSF-Net以自顶向下的方式逐步合并多层次特征。然而，这些方法在合并多层特征时都忽略了CNN的底层特征也包含了大量类别无关的噪声(如过多的杂乱纹理)，这将影响CAM的质量。

另一种提高用于建筑物提取的CAM质量的方法是利用底层视觉特征对CAM进行优化，例如使用超像素。超像素是一组基于颜色直方图和纹理特征等底层视觉特征聚类的相似邻接像素，其提供了建筑物的边缘信息，且可以用来分离建筑物与周围背景区域。因此，利用超像素来提高CAM的质量是十分必要的。

发明内容