[发明专利]一种基于自注意力机制的循环图像翻译方法

说明书

为了解决CycleGAN网络生成图像细节模糊不清且训练缓慢的问题，本发明提出了一种基于自注意力机制的循环图像翻译方法。主要思想在于在生成器网络中使用自注意力机制模块，扩大特征图的感受野，增强其对中心像素点周围空间结构的描述；此外，为了解决网络训练中收敛缓慢且不稳定的问题，在训练过程中使用了谱归一化方法和双尺度更新策略，对生成器和判别器分别使用不同的学习速率进行梯度更新；最终，本发明设计了一种基于最小二乘的对抗损失和循环一致性损失结合的目标函数，实现更真实的图像翻译。该方法可以实现更精准的图像特征转换，其在图像翻译任务中进行实验，达到了优异的效果，充分证明方法具有较强的转换能力。

技术领域

本发明涉及一种图像翻译技术，属于图像、多媒体信号处理技术领域。

技术背景

互联网技术和多媒体技术的发展，极大地促进了人们对某单一图像的风格转换和迁移需求。近年来，随着计算机视觉和模式识别领域的快速发展，基于深度学习的图像翻译任务在转换效果和速度上有了显著提升。具体来讲，图像翻译是指将某一具有显著特性的图像域X整体转换到另一种特性的图像域Y中，比如从冬天变夏天，从苹果变橙子，从普通风景照变梵高风格画作等。翻译任务通常对图像的原始结构和内容不做修改，而是在色调、纹理、亮度等方面进行一定的处理和调整，从而在视觉上给人图像风格迁移的效果。

在图像翻译任务出现的前期，带有图像标签的有监督学习占主导地位。监督学习可以更加快速的帮助网络学习到X域和Y域图像的不同特性，例如Pix2Pix方法就是在成对的有标签数据上进行训练。但是现实场景的应用中，要收集到大量成对的X域Y域图像并对其逐个打标签，极其耗费人力物力，半监督甚至无监督下的图像翻译方法应运而生。其中，CycleGAN作为最早被提出的一种无监督方法，利用生成对抗网络实现了小数据量下的图像翻译。生成对抗网络(Generative Adversarial Network,GAN)包含生成器和判别器两个部分，生成器企图学习并生成和真实图像在风格上无限逼近的假图，而判别器则努力辨别输入的图像是真图还是假图。二者在博弈对抗过程中最终达到全局平衡点，该点被称为纳什均衡点。在深度学习中，生成器和判别器通常由两个独立的神经网路构成。CycleGAN在传统生成对抗网络只有一对生成器和判别器的基础上，改进使用完全对称的两对生成器和判别器实现了无标记、非成对图像的一对一转换。CycleGAN对无标签的无监督图像翻译提供了一种较好的解决方法。

然而，CycleGAN在训练中仍具有传统生成对抗网络常见的问题，如训练缓慢且不稳定，博弈过程中常落入局部最优值等。如何在CycleGAN循环对抗生成模式的基础上，提升该方法的转换效果，并且优化训练过程成为关键问题。

发明内容

为了提升图像翻译的生成效果并优化训练过程，本发明在基于生成对抗网络CycleGAN的基础上，提出了一种基于自注意力机制的循环图像翻译方法。具体技术方案如下：

一种基于自注意力机制的循环图像翻译方法，该方法基于循环对抗一致的CycleGAN网络，其特征在于该方法包括以下步骤：

步骤1：从两个待转换的X域和Y域图像数据库中分别随机选取一张图像，送入循环生成对抗网络；

步骤2：所述图像分别经过X域和Y域的带有自注意力机制的生成器，得到输出对应转换的Y域和X域生成图像；

步骤3：所述两个生成图像分别送入Y域和X域的判别器中进行判别，得到介于[0,1]之间的两个得分；

步骤4：利用循环一致性损失函数计算生成的假图和真实输入图像之间的误差，利用判别得分计算生成对抗过程中的最小二乘对抗损失函数；

步骤5：基于损失函数进行网络优化，通过梯度下降与反向传播不断迭代以更新X域和Y域的生成器和判别器网络参数，使全部四个网络达到动态平衡点，即纳什均衡；

步骤4中所述的损失函数分别如下所示：