[发明专利]一种基于对抗生成网络生成高清图像的方法及系统

说明书

本发明提出一种基于对抗生成网络生成高清图像的方法及系统。针对高清图像的合成过程，在PGGAN分阶段提升分辨率的设计思想的基础上，在较高分辨率的单张图片生成过程中采用分区块逐步生成的方式，将待细化的图像作为结构草图，参考已经生成的部分区块生成新的区块，使得生成网络能够保持适中的输入输出规模，进而突破分辨率进一步提升的瓶颈，且能够使GAN网络的训练更加稳定。

技术领域

本发明涉及计算机视觉与深度学习领域，具体涉及一种使用对抗生成网络(GAN)经多阶段分块递进生成高清图像的方法。

背景技术

现有技术包括Pix2pixHD其面向图像渲染工作，提出其之前的语义标签合成图像工作(pix2pix等)难以生成高分辨率图像且生成的图像缺少细节，因此该作者提出三方面改以进尝试解决这两个问题，具体改进包括：一个从粗粒度到细粒度的生成器，一个同时考虑多个尺度的判别器和一个鲁棒的损失函数，从而成功合成出2048x 1024的逼真图像。同时，其作者还将他们的方法扩展到交互式语义操作。

Progressive-Growing-GAN(PGGAN)的作者采用渐进式增长的训练方式，首先训练一个小分辨率的图像生成，稳定训练当前分辨率后，在已训练好的生成网络后(判别网络前)增加一个出入输出更大的层，并和之前层的输出结果加权得到输出，过渡到下一个更高的分辨率。重复渐进增长的过程，缓慢增大网络权重的容量，最终得到1024*1024分辨率的图像。

对抗生成网络是一种生成模型，与常规深度学习模型不同，它包括两个网络，两个网络的对抗体现在：生成器使用真实样本训练，训练后输入噪声生成虚假样本，目标是生成接近真实样本的样本骗过判别器；判别器输入虚假样本和真实样本并判别真伪，目标是判别出生成器生成的虚假样本。二者对抗，最后生成器生成很接近真实样本的样本，判别器判别不出来生成器样本和真实样本的区别。

目前的图像生成过程中，如果生成的目标图像过大，则网络体量及对应特征图会相应倍数增大，进而占据更多显存，在显存一定的情况下致使batch减小导致生成细节不足；另外还会导致训练需要更大的训练集，而在地外星体环境图像生成的过程中，生成目标的训练集有限。因而我们提出了多阶段分块递进式生成高分辨率图像的方法，可使网络的输出保持不变或缓慢增大，进而使显存占用不会过大，使网络保持较容易训练，进而使得能够拓展生成更高分辨率图像。

发明内容

本发明的目的是解决目前使用GAN进行高分辨率图像生成过程中，如果生成的目标图像过大导致难以训练的问题，提出了一种使用对抗生成网络(GAN)经多阶段分块递进生成高清晰度图像的方法，需要注意的是画面清晰度可包括分辨率，但不限于清晰度还可以是画面色彩空间，色深等信息，但为了方便举例说明，下文仅以分辨率进行描述。

针对现有技术的不足，本发明提出一种基于对抗生成网络生成高清图像的方法，其中包括：

步骤1、将真实图像的特征图连接随机噪声后输入第一生成器，生成第一对抗样本，将第一对抗样本与下采样后的真实样本输入第一判别器，计算网络判别器损失函数，交替训练第一生成器和第一阶段判别器，直到达到预设要求，保存当前该第一生成器作为第一图片生成器；

步骤2、使用第一图片生成器生成的第一对抗样本，将该第一图片生成器生成的第一对抗样本进行上采样处理，得到上采样本，复制该上采样本，得到复制样本，并将该上采样本、该复制样本和该真实图像进行图像分区；

步骤3、选取复制样本中连续的分区图像同时作为第一输入和第二输入送入第二生成器，得到初始对抗样本，通过第二判别器计算该真实图像中对应分区图像位置的图像块和该初始对抗样本间的损失，以交替训练该第二生成器与该第二判别器，直到达到预设要求，将当前初始对抗样本替换该复制样本中对应分区图像位置的图像；