[发明专利]一种高光谱图像超分辨率的实现方法及系统

说明书

本发明公开了一种高光谱图像超分辨率的实现方法及系统，对原始的高光谱图像通过插值的方式放大到与期望输出相同大小的低分辨率的高光谱图像；将低分辨的高光谱图像输入空谱特征提取网络中，生成高分辨率的高光谱图像，所述空谱特征提取网络包括：光谱映射网络、空间重构网络和空谱融合网络，将低分辨的高光谱图像分别输入到光谱映射网络和空间重构网络中，通过这两个支路网络中分别进行光谱特征和空间信息特征提取以重构光谱信息和空间信息，空谱融合网络将光谱映射网络和空间重构网络输出的光谱信息和空间信息进行融合，生成高分辨率的高光谱图像，在空间信息恢复和光谱信息保存方面都体现了更好的性能。

技术领域

本发明涉及图像处理技术领域，具体涉及一种高光谱图像超分辨率的实现方法及系统。

背景技术

高光谱图像(HSI)有几十个甚至几百个波段，高光谱图像不仅具有丰富的空间纹理信息，而且还具有丰富的光谱信息，这一特性使其广泛应用于农业、医学、军事和遥感等领域。但是受高光谱传感器和光学成像系统的硬件限制，与全色图像或多光谱图像相比，高光谱图像具有较低的空间分辨率。这严重限制了它的进一步应用与发展，因此近年来，作为提高高光谱图像分辨率的主要技术之一高光谱图像超分辨率收到国内外研究者的广泛关注。

高光谱图像超分是一种在从低分辨率高光谱图像中获取高分辨率高光谱图像的技术，目前采用基于软件方法的超分辨率技术是提升高光谱图像空间分辨率的有效手段，它克服了硬件条件的限制。高光谱图像超分技术大多数是从RGB图像超分技术演变而来。对于RGB图像超分，近几十年来提出了许多研究。最近RGB图像超分问题由于使用了卷积神经网络而取得了很大的进展，受到启发，越来越多的学者采用卷积神经网络框架来进行高光谱图像超分研究。但是与RGB图像不同的是，高光谱图像由数百或数千个光谱波段组成，高光谱图像的光谱特征提取困难，容易导致重构的高光谱图像出现光谱信息丢失的问题。将卷积神经网络框架直接应用于高光谱图像超分，虽然能够提升空间分辨率，但是也会导致光谱特征损失严重。

发明内容

因此，本发明要解决的技术问题在于克服现有技术中在高光谱图像超分辨率的实现时容易造成光谱特征损失的缺陷，从而提供一种高光谱图像超分辨率的实现方法及系统。

为达到上述目的，本发明提供如下技术方案：

第一方面，本发明实施例提供一种高光谱图像超分辨率的实现方法，包括如下步骤：

对原始的高光谱图像通过插值的方式放大到与期望输出相同大小的低分辨率的高光谱图像；

将低分辨的高光谱图像输入空谱特征提取网络中，生成高分辨率的高光谱图像，所述空谱特征提取网络包括：光谱映射网络、空间重构网络和空谱融合网络，将低分辨的高光谱图像分别输入到光谱映射网络和空间重构网络中，通过这两个支路网络中分别进行光谱特征和空间信息特征提取以重构光谱信息和空间信息，空谱融合网络将光谱映射网络和空间重构网络输出的光谱信息和空间信息进行融合，生成高分辨率的高光谱图像。

在一实施例中，将低分辨的高光谱图像输入到光谱映射网络后，依次进行浅层光谱特征提取、深层光谱特征提取、光谱差融合及光谱信息重构处理。

在一实施例中，浅层光谱特征提取，利用一组3D卷积网络作为光谱映射网络的浅层特征提取网络，从低分辨率的高光谱图像提取浅层特征F_SF作为光谱特征提取模块的输入；

深层光谱特征提取，将浅层特征F_SF输入3D卷积层组成的光谱特征提取模块进一步进行特征提取，将每一层网络的输出F_spe,i都与F_SF,F_spe,1,F_spe,2…F_spe,i-1进行连接，最后将最终输出F_spe,c引入残差学习与F_SF进行跳跃连接，输出特征图F_SS；

光谱差融合，首先计算低分辨的高光谱图像的光谱差：