[发明专利]通过引入自监督复合任务训练生成对抗网络生成高质量图像的方法及装置

说明书

本发明公开了一种通过引入自监督复合任务训练生成对抗网络生成高质量图像的方法及装置，包括以下步骤：(1)原始图像数据集以及拼接图像数据集准备；(2)设计用于实现生成对抗网络的自监督学习的复合任务；(3)搭建模型，构建对抗训练分支和自监督复合任务分支；(4)训练模型，并保存网络的参数；(5)使用训练好的生成器网络进行图像生成。本发明提供的通过引入自监督复合任务训练生成对抗网络生成高质量图像的方法，对图像内信息和图像间信息同时进行利用，构建了一个包含三个子任务的复合任务，引导网络学习图像中更稳定、更通用的特征，同时还构建了局部判别器来提高网络提取图像局部信息的能力，可显著提升网络的训练效果，提高最终生成的图像的质量。

技术领域

本发明属于计算机图像生成技术领域，尤其涉及一种通过引入自监督复合任务训练生成对抗网络生成高质量图像的方法及装置。

背景技术

真实图像数据集是计算机视觉领域中用于训练网络的必不可少的工具，大量的真实图像能够帮助网络很好地学习到有用的特征表示，进而在后续的任务中发挥良好的性能。然而在真实图像数据集的制作过程中，由于图像采集设备的差异，采集到的原始图像还需要进行尺寸调整、分辨率统一等对齐操作，这通常需要耗费巨大的人力成本，这是导致网络训练成本高的一个重要原因，此外，对于一些现存量低、采集难度大的样本，数据集的制作成本与难度都更高，样本量的不足也将导致网络训练效果不佳。生成图像是一种通过训练良好的生成模型产生的与训练集中的真实图像近似的图像，它可以由生成模型直接从随机噪声中映射而来，通过使用生成模型产生的大量生成图像来扩充现有数据集是解决上述问题的方法之一，生成模型通过对现有数据集中真实图像的学习，生成逼真且具有多样性的生成图像，可以极大地减少人工收集、处理数据所带来的数据集制作成本。

生成对抗网络是近年来大热的一种生成模型，它由Goodfellow等人在文章“Generative adversarial networks.”(NeuralIPS,2014)中提出。在生成对抗网络中，生成器负责接收随机噪声并生成图像，判别器负责接收真实图像样本和生成器产生的样本，并判断所接收的样本是否为真实图像。在网络的训练过程中，生成器与判别器在相互对抗中不断得到优化。然而，生成对抗网络存在着判别器“灾难性遗忘”、训练过程不稳定的缺点，甚至会导致模式坍塌问题。目前的一个解决方向是通过引入额外的辅助任务来完成生成对抗网络的自监督学习，使判别器学习到更通用、更稳定的特征，以提升训练过程的稳定性。然而现有的辅助任务通常为单一任务，这容易导致网络学习到的特征带有较明显的任务偏向性，例如Gidaris等人在文章“Unsupervised representation learning bypredicting image rotations.”(ICLR,2018)中提出的旋转任务，通过对输入图像进行随机旋转操作，并要求网络判断出所接收的图像对应的旋转角度，这一任务虽然能够有效帮助网络学习图像的结构特征，但是图像的色彩、纹理等特征却因为对判断旋转角度这一任务的帮助不大而易被网络忽略。现有的针对生成对抗网络提出的自监督辅助任务都存在任务单一、覆盖的特征不够全面的问题，对于网络学习特征的过程的引导具有较强的偏向性，这不利于网络学习通用且稳定的特征，也会影响后续生成的图像的质量。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种通过引入自监督复合任务训练生成对抗网络生成高质量图像的方法及装置，通过设计并引入一个合理的复合任务，引导网络学习图像中更稳定、更通用的特征，从而提升网络的训练效果，进而提高最终生成的图像的质量。

为了达到上述目的，本发明采用以下技术方案：

本发明一方面提供了通过引入自监督复合任务训练生成对抗网络生成高质量图像的方法，包括下述步骤：

准备训练数据集，所述训练数据集包括原始图像数据以及拼接图像数据；所述原始图像数据用于对抗训练分支的训练过程，所述拼接图像数据用于自监督复合任务分支的训练过程；