[发明专利]基于生成对抗网络的高光谱图像超分辨重建方法

说明书

本发明公开了一种基于生成对抗网络的高光谱图像超分辨重建方法，在生成器网络中构造光谱和空间残差块，分别用来从高光谱图像丰富冗余的信息中提取光谱特征和空间特征，同时生成器网络和判别器网络交替训练，像素损失和对抗损失共同指导生成器网络重建出高分辨率图像，解决了现技术高光谱图像空间分辨率不足，清晰度低，目视效果差的问题。

【技术领域】

本发明属于遥感图像处理技术领域，具体涉及一种基于生成对抗网络的高光谱图像超分辨重建方法。

【背景技术】

高光谱技术的发展使得高光谱图像在环境监测、地质勘探、农业、军事应用等诸多民用和军事领域有着不可替代的应用，已经深刻影响到我国的经济发展、国防建设和社会生活等各个方面。但是由于传感器噪声以及时间限制等原因，获取的遥感图像质量总是存在空间分辨率和光谱分辨率的折衷。因此，高光谱图像虽然光谱分辨率高，但是图像的空间分辨率不足，清晰度低，目视效果差。然而在实际应用中，迫切需要具有更高空间分辨率的高质量高光谱图像，进而服务于分类、目标识别等处理，因此研究提高高光谱图像的分辨率具有重要的科学价值和应用前景。

单幅图像超分辨率旨在仅从低空间分辨率图像重建高空间分辨率图像，可以打破高光谱成像系统中固有的空间分辨率的局限性，而无需其他任何先验或辅助信息。传统的高光谱图像超分辨率方法通常采用的是非线性插值法，例如双线性和双三次插值法直接利用相邻像素的信息重构超分辨率图像(参见文献IEEE Trans Image Process,10(10):1521–1527,2001)，这种方法容易导致边缘模糊和振铃现象。近年来一些基于卷积神经网络的遥感图像超分辨率方法被相继提出。Liebel等人首次在多光谱图像上成功应用了SRCNN，并发现了一组针对多光谱图像的优化参数(参见文献International Archives of thePhotogrammetry Remote SensingS,XLI-B3:883-890,2016)。然而，这种单波段方法的直接应用很容易导致光谱失真。为了解决这个问题，三维全卷积神经网络通过使用三维卷积来同时提取相邻像素的空间信息和相邻波段的频谱相关性，以此来进行高光谱图像超分辨率并取得了不错的效果(参见文献Remote Sensing,9(11):11-39,2017)。另一个解决光谱失真的方法是通过卷积神经网络和非负矩阵分解结合，该方法首先使用SRCNN来提高每个波段的空间分辨率，然后强制超分辨率图像和低分辨率图像端元一致。但是这种方法的性能依赖于端元提取的准确性，这是很难优化的。为此Li等人提出了一种结合空间约束策略(SCT)和深度谱差分卷积神经网络(SDCNN)的方法，该方法首先使用SDCNN来学习低分辨率高光谱图像和高分辨率高光谱图像之间的光谱差异，然后用空间约束策略使重构的超分辨率图像模拟的低分辨率图像和原始的低分辨率图像在空间上相似来增强空间分辨率。然而，由于误差是频带累积的，因此无法有效地学习光谱特征。上述网络在训练时都用均方误差作为损失函数，虽然能够获得不错的峰值信噪比，但是恢复出来的图像通常会丢失高频细节，容易出现过度平滑的纹理，输出图像不具备好的视觉感受。2017年C.Ledig等人首次将生成对抗网络(GAN)用在了解决自然图像超分辨率问题上(参见文献IEEE Conferenceon Computer Vision and Pattern Recognition,2017:105-114)，提出了SRGAN，该方法致力于使重建的高分辨率图像与真实的高分辨率图像无论是低层次的像素值上，还是高层次的抽象特征上，以及整体概念和风格上都接近。

【发明内容】

本发明的目的是提供一种基于生成对抗网络的高光谱图像超分辨重建方法，以解决现技术高光谱图像空间分辨率不足，清晰度低，目视效果差的问题。

本发明采用以下技术方案：

基于生成对抗网络的高光谱图像超分辨重建方法，在生成器网络中构造光谱和空间残差块，分别用来从高光谱图像丰富冗余的信息中提取光谱特征和空间特征，同时生成器网络和判别器网络交替训练，像素损失和对抗损失共同指导生成器网络重建出高分辨率图像；

包括以下步骤：