[发明专利]通过引入自监督复合任务训练生成对抗网络生成高质量图像的方法及装置

权利要求书

1.通过引入自监督复合任务训练生成对抗网络生成高质量图像的方法，其特征在于，包括下述步骤：

准备训练数据集，所述训练数据集包括原始图像数据以及拼接图像数据；所述原始图像数据用于对抗训练分支的训练过程，所述拼接图像数据用于自监督复合任务分支的训练过程；

设计三个子任务来组成一个复合任务，所述复合任务用于构建自监督复合任务分支并为模型的训练提供监督信息，所述三个子任务分别是旋转预测任务、位置预测任务和共有特征提取任务，所述所述旋转预测任务用于正确判断出每张拼接图像中包含的图像块对应的签，所述位置预测任务用于正确判断出每张拼接图像中包含的图像块对应的标签，所述共有特征提取任务用于首先正确判断出每个图像块属于哪一张原始图像，然后提取出同源图像块之间的共有特征；

搭建模型，分别构建对抗训练分支和自监督复合任务分支，所述对抗训练分支包含一个局部判别器和一个生成器，所述自监督复合任务分支包含一个带有三个输出头的分类器；

对搭建的模型进行训练，得到训练好的生成器网络；所述训练具体为：将原始数据集作为对抗训练分支的输入，拼接图像数据作为自监督复合任务分支的输入，对两个分支中的网络进行训练，所述训练过程中，自监督复合任务分支负责为对抗训练分支中的局部判别器提供监督信息；

将待处理的图像输入到训练好的生成器网络进行图像生成。

2.根据权利要求1所述通过引入自监督复合任务训练生成对抗网络生成高质量图像的方法，其特征在于，所述拼接图像数据准备具体如下：

对于一个批次内的原始图像，从每张图像的左上、右上、左下、右下区域裁剪出4个具有一定重叠率ω的图像块，重叠率ω等于相邻图像块之间重叠部分的边长与原图像边长的比值；

将得到的一个批次的图像块进行随机打乱，并进行一次旋转变换，旋转角度从集合R＝{0°，90°，180°，270°}中随机选择；

使用双线性插值法对得到的一个批次的图像块的尺寸进行调整，使图像块的边长等于原始图像边长的一半；

将得到的图像块以4个为一组进行拼接，得到一批与原始图像尺寸一致的拼接图像，由此，完成了拼接图像数据的制作。

3.根据权利要求1所述通过引入自监督复合任务训练生成对抗网络生成高质量图像的方法，其特征在于，所述三个子任务的具体设计如下：

在旋转预测任务中，对于得到的一批拼接图像，每张图像包含的4个图像块各自对应了一个旋转角度，通过这一旋转角度为每个图像块赋予一个伪标签l_r，l_r∈{0°，90°，180°，270°}；

在位置预测任务中，对于得到的一批拼接图像，每张图像包含的4个图像块在其所属原始图像中各自对应了一个固定的区域位置，通过这一位置信息为每个图像块赋予一个伪标签l_l，l_l∈{左上，右上，左下，右下}；

在共有特征提取任务中，对于得到的一批拼接图像，每张图像包含的4个图像块各自对应一张原始图像，将属于同一张原始图像的4个图像块定义为同源图像块，将同源图像块之间具有较高相似度的特征定义为共有特征。