[发明专利]基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置

说明书

本发明公开了基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置，包括将查询图像以及图像库中的各图像转化为图结构；利用预先构建并训练的多尺度图卷积网络，基于图结构对图像场景中的地物进行多标签分类；基于查询图像转化的图结构和多标签分类结果对图像库进行第一次检索，得到与查询图像包含至少一种相同地物的图像集合；利用预先构建并训练的图相似网络对图像集合进行第二次检索，得到查询图像与图像库中其他图像的相似度；按照相似度大小返回图像，得到最终的多标签检索结果。本发明利于学习更好的图像特征，实现更精确的遥感图像解译。

技术领域

本发明属于图像处理技术领域，涉及一种基于图网络的遥感图像场景多标签分类方法技术领域、多标签分类装置技术领域、多标签检索方法技术领域及多标签检索装置技术领域。

背景技术

随着遥感对地观测技术的不断发展，遥感图像的空间分辨率呈现出从中低分辨率向高分辨率发展的趋势。不同于中低分辨率遥感图像，高分辨遥感图像由于空间分辨率较高可以提供地物更多的细节信息，为遥感图像理解提供了丰富的数据源。针对高分辨率遥感图像，传统的像素级和对象级解译方法适用范围和性能受限，因此，如何发展有效的场景级遥感图像分析方法是现阶段遥感图像处理领域亟待解决的难题。

遥感图像场景分类和检索是对遥感图像进行场景级分析的两个基本任务，前者是将遥感图像场景划分为一个主要的语义类别，如建筑物、道路等，例如文献“AID:Abenchmark data set for performance evaluation of aerial scene classification”对于场景分类的综述，而后者则是从众多遥感图像场景中搜索感兴趣的场景，例如文献“Exploiting Deep Features for Remote Sensing Image Retrieval:A SystematicInvestigation”对于场景检索的综述。遥感图像场景分类和检索方法主要依赖于图像特征，因而如何获取表征能力强的图像特征是场景分类和检索的关键。根据特征获取方式的不同，可将其分为传统的手工特征和当前主流的深度学习特征。手工特征主要包括颜色、纹理、形状、视觉词袋等中低层视觉特征，适用于图像场景简单且数据量小的场景分类与检索问题。相比手工特征，深度学习特征是通过构建深层网络从数据中自动学习图像的高层次特征，其中，以卷积神经网络为代表的深度学习方法广泛用于海量的、场景复杂的遥感图像场景。

现有的基于深度学习的遥感图像场景分类和检索方法具有以下两个特点（可参考上述两篇文献）：（1）一幅遥感图像场景只用其包含的主要语义类别（单标签）进行描述，例如，标注为居民区的场景通常包含建筑物、道路、树木等地物；（2）场景分类和检索本质上都属于识别范畴，但实际应用中通常将二者分开进行处理。然而，遥感图像场景通常包含多种地物，仅用主要的语义类别对场景进行描述是不准确的，基于单标签的场景分类和检索难以实现遥感图像的精确解译。在这一背景下，研究遥感图像场景的多标签分类和检索方法是必要的。

发明内容

本发明旨在针对现有的遥感图像场景单标签分类和检索方法忽略了图像包含的多类别地物信息，不能满足精细、准确的遥感图像解译需求，提供基于图网络的遥感图像场景多标签分类方法、多标签分类装置、多标签检索方法及多标签检索装置。

为实现上述技术目的，本发明采用以下技术方案。

第一方面，本发明提供了基于图网络的遥感图像场景多标签分类方法，包括：将图像转化为图结构；

利用预先构建并训练的多尺度图卷积网络，基于图结构对图像场景中的地物进行多标签分类，获得多标签分类结果；

构建并训练多尺度图卷积网络包括：对训练集的图像构建M层的图像金字塔，确定不同尺度相应的图结构；