[发明专利]光学图像跨域对抗生成SAR图像的方法

说明书

本发明公开的光学图像跨域对抗生成SAR图像的方法，能够有效提升特定图像分析任务的准确性。本发明通过下述技术方案实现：源域到目标域的图像跨域生成器生成目标域SAR图像，目标域判别器鉴别生成的SAR图像的真or假，同时图像跨域生成器Gx将生成的目标域SAR图像送入图像跨域生成器Gy，通过输入光学图像与重构光学图像的配准，形成源域光学图像到目标域SAR图像的循环一致对抗生成网络；同理，形成目标域SAR图像到源域光学图像的循环一致对抗生成网络；将上述两个循环一致对抗网络并接，构建双向循环一致跨域对抗网络结构，并对该模型进行训练，输出的目标域SAR图像，即为循环一致跨域对抗网络增强SAR图像的结果。

技术领域

本发明涉及人工智能领域的数据增强，具体涉及小样本图像数据智能增强技术，尤其是光学图像跨域对抗生成SAR图像的方法。

背景技术

合成孔径雷达(Synthetic Aperture Radar,SAR)图像是一种通过SAR传感器主动发射微波并接收回波而产生的二维图像。接收其回波的高分辨率相干成像系统,能够全天时,全天候地进行数据的采集工作。该系统发射的电磁波的波长较长,这使其能克服光学图像易受云层和雾霾等其他气象条件影响的缺点。然而,由于SAR图像的特殊成像方式,导致SAR图像中含大量斑点噪声和散射斑,因此SAR图像分类相比于光学图像分类更加困难，而且SAR图像样本数量少、分布不均衡，不充足的数据存在量，往往导致下游深度网络模型(如目标检测模型等)过拟合。为了有效解决深度网络模型训练因样本数量不足而出现的过拟合问题，一方面是对数据样本质量方面的增强，例如图像去噪、信号去噪等；另一方面基于已有的少量带标签样本数据，通过模型或算法生成同样标签数据来达到扩增原始样本集数量的目的，例如图像对抗生成、文本回译等。数据增强最早应用于计算机视觉领域，传统图像数据增强方法从几何变换和特征变换的角度来实现，主要包括旋转变换、翻转变换、尺度缩放、图像裁剪、水平/垂直移位变换、分段仿射、插值、对比度变换、Fancy PCA等，构建不同质量等级、不同分布、不同尺度、不同视角、不同形态的图像样本数据集。

随着深度学习时代的到来，众多学者也在思考如何利用深度神经网络强大的特征提取能力来帮助生成同分布的新样本。这其中的代表技术是由蒙特利尔大学IanGoodfellow在2014年提出的生成对抗网络模型(Generative Adversarial Networks，GAN)，文中提到生成对抗网络主要专注于样本生成，通过从数据集中抽取样本组成，并学会以某种方式表示该样本特征的分布估计，通过判别器对真实样本分布和虚假样本分布进行判别，在生成器与判别器的不断对抗中达到平衡，以生成清晰图像。为了实现多模式数据生成，将生成对抗网络框架扩展到了条件设置上，Mehdi Mirza(2014)提出了条件生成对抗网络。此模型在生成器和判别器上都加上了条件，通过对条件的控制实现对生成数据的把控，为多模式数据生成提供了更好地表示。从文本描述中合成高质量图像一直以来都是计算机视觉方面的一大难题。最初的生成对抗网络中采用的是全连接神经网络同时进行生成和判别，限制生成对抗网络的学习能力。比如，在Xi Chen(2016)提出的InfoGAN(InformationMaximizing Generative Adversarial Networks，InfoGAN)模型，发现通过语义信息可以处理图像外观中复杂的交互因素，包括面部的姿势、光线和情感内容上的变化，试图通过最大化潜在代码和生成器输出之间的互信息来检测变化的潜在因素，利用潜在变量实现无监督学习方式。针对这点，Han zhang(2017)等人提出了堆栈生成对抗网络，根据给定的文本描述来绘制对象的原始形状和颜色，以生成基于文本描述为条件的逼真图像。Jie Li(2018)等人提出了全连接到卷积神经网络的卷积生成对抗网络，采用卷积的生成对抗网络来训练生成器和判别网络要更加困难。Jianping Lin(2018)等人拉普拉斯对抗性网络金字塔(Laplacian Pyramid of Adversarial Networks，LAPGAN)通过使用多尺度分解生成过程提供了一种解决方案：将真实的图像本身分解为拉普拉斯算子和有条件的图像，对卷积GAN进行训练，以产生上述给定的每一层。在卷积生成对抗网络上，Yaxin Li(2019)进一步提出了深度卷积生成对抗网络(Deep Convolutional Generative AdversarialNetworks，DCGAN)，这种网络在生成器和判别器中采用跨步卷积对学习空间进行上采样和下采样，实现高维图像想低维向量的映射。随后He Huang(2019)提出的GDAN(Generativedual adversarial network)将语义属性与视觉特征映射，视觉特征与语义属性映射以及度量学习结合使用，以形成一个统一的框架来优化生成模型。在集成学习的启发下，LiangSun(2020)等人提出了一种带有协同耦合生成对抗网络，出于减轻中心性问题的目的，将视觉特征空间作为嵌入空间，并通过视觉特征中心生成网络实现映射。上述现有的文本到图像方法生成的样本可以大致反映给定描述的定义，但是无法包含必要的细节和生动的对象。这些应用于光学图像的深度学习方法在面向SAR数据时容易出现过拟合、泛化差的问题。如何适应性地解决这些问题是基于特征学习的SAR图像解译所必须突破的难点之一。