[发明专利]一种异构遥感图像变换方法及系统

说明书

本发明涉及一种异构遥感图像变换方法及系统，设置了可见光灰度图像作为SAR图像到可见光彩色图像的中间态，通过SAR图像降噪声生成器将SAR图像生成可见光灰度图像，并通过第一鉴别器进行鉴别，通过可见光图像生成器将可见光灰度图像生成可见光彩色图像，并通过第二鉴别器进行鉴别，降低了SAR图像到可见光彩色图像变换的失真率，提高了遥感图像变换的质量和效率。

技术领域

本发明涉及图像变换技术领域，特别是涉及一种异构遥感图像变换方法及系统。

背景技术

随着信息感知技术的不断发展，对遥感图像的处理和运用日渐由单模态转向多模态。这是由于单一传感器获取的图像已经无法满足某些特定场景的需求，在暂时无法有效提升传感器性能的情况下，将多种类型传感器获取的异构图像进行关联融合成为一条可行的途径。

以光学与合成孔径雷达(SAR)图像为例，光学图像对天气尤其是云层敏感，这严重限制了光学图像用于地面目标的观测和监视。一种可行的替代方法是利用对天气不敏感的SAR图像作为弥补，将同一时间不同模态传感器获取的图像进行关联。在这一方面，基于深度学习的方法提供了很好的解决方案。在耦合时间序列的异构图像驱动下，基于深度学习的方法可以学习从SAR图像到可见光图像的映射，并将其用于由已知SAR图像到未知可将光图像的变换。以此获得的结果即具有可见光图像的光谱信息，也可获得SAR图像全天时、全天候的观测优点。

遥感图像的异构变换可以归类为一个图像风格变换问题，而在图像风格变换方面又可以分为基于特征的方法和基于生成对抗网络GAN的方法。基于特征的方法采用的思路是利用人工神经网络的特征提取能力，对原始图像的风格和语义内容分别进行提取，考虑一定的风格和内容的失真，限制从输入到输出的变换在色彩空间中是局部仿射的，并将此约束表示为自定义的完全可微分的能量项，然后进行组合重构，生成一幅新的风格图像。风格变换的另一思路是基于生成对抗网络GAN的方法。这种方法的思路是采用条件生成对抗网络cGAN对图像进行条件生成和变换，使得生成的图像既具有原图像域的语义信息，又具有目标图像域的风格特征。

对于现有的两类方法，尽管基于特征的方法在艺术图像风格变换上取得了不错的效果，但在生成新的风格照片时，需多次对损失函数求导，因此在用于遥感图像的异构变换时，参数计算量较大，处理实时性不佳。相比之下基于条件生成对抗网络cGAN的方法较前者计算开销小，灵活性更大，在一般的结构清晰、信息对称的图像之间变换结果较为理想，但用于遥感图像异构变换时，也存在纹理损失和失真严重，这将影响最终决策和判别。

目前，基于条件生成对抗网络的异构遥感图像变换存在以下技术难点：一是由于SAR图像与可见光图像采集传感器的原理差异，相互之间存在信息不对称的特点，利用现有的pix2pix、Cycle-GAN等图像变换模型进行实验发现，由SAR图像生成的RGB可见光图像存在严重的特征丢失等失真现象，使得最终变换结果的可解释性和可信度不高，影响后续的研究和决策。因此需要降低SAR图像受乘性伽马噪声污染对图像跨模态变换的影响，提高模型对SAR图像主要特征的保留和恢复能力，使得最终变换出来的可见光图像既具有原始SAR图像的语义信息，又具有一定的光谱信息，这样为地质灾害监测、现场勘察、海域监控等提供更为可靠的图像信息；二是可见光图像的信息存在于多个通道之中，而SAR图像为灰度图像，其信息存在于一个通道，二者之间存在通道差异和语义鸿沟，直接采用一个生成器和一个鉴别器的条件生成对抗网络进行异构变换存在光谱信息和语义信息映射不准确等问题。

在基于条件生成对抗网络的异构图像变换方面，目前还没有针对SAR图像到可见光图像(RGB)的变换模型能很好地解决上述问题。在异构变换的准确性和实时性方面，现有的方法都不能满足遥感图像的复杂化和多样化需求，因此这一问题亟待解决。

发明内容

基于此，本发明的目的是提供一种异构遥感图像变换方法及系统，提高了遥感图像变换的质量和效率。

为实现上述目的，本发明提供了如下方案：

一种异构遥感图像变换方法，所述方法包括：