[发明专利]一种图像转换方法及系统

说明书

本发明提供了一种图像转换方法及系统，方法包括：获取待转换图像；将转换图像输入到图像转换模型中，得到转换后的图像；图像转换模型是利用训练集对初始对抗网络进行训练得到的；训练集包括待转换图像训练集和目标图像训练集；初始对抗网络包括生成网络和鉴别网络；生成网络包括一个编码器和一个解码器。本发明通过对初始对抗网络进行训练得到图像转换模型用于图像转换，能够提高图像转换的转换精度。

技术领域

本发明涉及图像生成技术领域，特别是涉及一种图像转换方法及系统。

背景技术

图像转换是一个经典的计算机视觉任务，许多计算机视觉问题可以被看作是一个图像到图像的转换问题。例如，图像去噪、去雾、超分辨率重建、老照片修复，黑白图像着色、素颜照上妆、真实图像风格转换(真实照片转油画或卡通画等)、白天到黑夜转换、季节转换，马到斑马转换等。基于生成对抗网络(Generative Adversarial Networks，GANs)的算法在图像转换任务上表现良好，Pix2pix、CycleGAN、CUT以及DCLGAN等模型陆续被提出。Pix2pix首次将条件对抗网络作为图像转换问题的一个通用的解决方案，为所有这些问题建立了一个共同的框架。然而，该方法要求训练数据是配对的，对于许多任务来说，没有成对的训练数据。这大大限制了图像转换的应用场景。2017年，Zhu等人提出了一种周期一致性生成对抗网络(Cycle-Consistency GenerativeAdversarialNetwork，CycleGAN)，在没有配对示例的情况下，通过学习两个域χ和之间的逆映射函数来实现图像到图像的转换任务。这种方法不要求训练数据是配对的，因此大大扩展了图像转换的应用场景。虽然周期一致性不要求训练数据是配对的，但它假设两个域χ和之间是一个双射关系，这通常太有限制性。2020年，Park等人首次将对比学习应用到图像到图像的转换任务中，通过学习输入块和输出块之间的对应关系，取得了优于基于周期一致性的性能，该方法被称作CUT(Contrastive Unpaired Translation)。为了进一步利用对比学习，同时避免循环一致性的缺点，2021年Han等人对CUT进行了改进，提出了一种双重对比学习方法，通过将单向映射扩展到双向映射来推断未配对数据之间的有效映射，称为双重对比学习生成对抗网络(Dual Contrastive Learning Generative Adversarial Network，DCLGAN)。

但是，CUT和DCLGAN都只是在生成器中引入对比学习，这导致在训练过程中鉴别器容易发生过拟合，甚至遭受模式崩溃。而本发明所提出的MCL是一种新的对比学习方法，通过进一步利用鉴别器输出层的特征信息来构造对比损失，增强了鉴别器的泛化性能，有效减缓了训练过程中模型崩溃的问题。

发明内容

本发明的目的是提供一种图像转换方法，能够提高图像转换的转换精度。

为实现上述目的，本发明提供了如下方案：

一种图像转换方法，包括：

获取待转换图像；

将所述转换图像输入到图像转换模型中，得到转换后的图像；图像转换模型是利用训练集对初始对抗网络进行训练得到的；所述训练集包括待转换图像训练集和目标图像训练集；所述初始对抗网络包括生成网络和鉴别网络；所述生成网络包括一个编码器和一个解码器。

可选的，在所述获取待转换图像之前，还包括：

构建初始对抗网络；

获取训练集；

以所述待转换图像训练集为输入，以所述目标图像训练集为输出，对所述初始对抗网络进行训练，得到所述图像转换模型。

可选的，所述以所述待转换图像训练集为输入，以所述目标图像训练集为输出，对所述初始对抗网络进行训练，得到所述图像转换模型，具体包括：

将所述待转换图像训练集输入到所述编码器中进行特征提取，得到特征集；