[发明专利]一种基于单对图像训练的条件生成对抗网络模型的方法

权利要求书

1.一种基于单对图像训练的条件生成对抗网络模型的方法，其特征在于，包括以下步骤：

(1)基于条件生成对抗网络架构构建图像翻译模型，包括：

生成器G和判别器D；记为一张训练图像，为所述训练图像对应的语义标注图，为随机噪声；其中表示语义标注图中的语义标签集合，W和H分别表示图像的宽和高，表示实数；生成器G采用残差网络结构，以语义标注图和随机噪声成对作为输入生成图像判别器采用多子块判别器结构，用于区分和x中子块的区别；所述图像翻译模型采用多尺度结构，所述结构包括N个生成器{G₀,…,G_N-1}和其对应的判别器{D₀,…,D_N-1}；不同尺度的生成器G_n和判别器D_n具有相同的网络结构；

(2)选取一张图像作为训练图像，并对所述图像进行语义标注获得语义标注图，得到一对“训练图像-语义标注图”；

(3)使用步骤(2)中获得的一对“训练图像-语义标注图”，训练步骤(1)构建的图像翻译模型，在每一轮训练过程中均对训练图像和语义标注图进行相同的图像翻转和仿射变换操作；训练时采用混合训练机制，即第n个尺度的生成器G_n输入的图像，采用训练图像的下采样图像x_n+1或者生成器G_n+1输出的生成图像的上采样结果以概率p控制训练G_n时，输入x_n+1或的概率，且设p值随着训练次数的增加而减小，p值的计算方法为：

其中，e代表训练轮数，μ为一个超参数；

最终，得到一个基于单对图像训练的条件生成对抗网络模型。

2.如权利要求1所述的基于单对图像训练的条件生成对抗网络模型的方法，其特征在于，训练图像翻译模型使用的损失函数为：

其中，对抗损失，为重构损失，为特征匹配损失，为感知损失权重λ_rec为重构损失权重，λ_fea为特征匹配损失权重，λ_vgg为感知损失权重。

3.如权利要求2所述的基于单对图像训练的条件生成对抗网络模型的方法，其特征在于，训练图像翻译模型的对抗损失使用WGAN-GP损失：

其中，表示在第n个尺度对噪声和语义标注图(z,s)求期望；D_n是第n个尺度的判别器，所述判别器输出的标量值表示输入图像的真假程度；G_n是第n个尺度的生成器，表示前一个尺度的生成器G_n+1生成的图像的上采样结果，因此为第n个尺度上的生成图像；而则表示在第n个尺度的训练样本上求期望；λ_GP为梯度惩罚项的权重，为梯度算子，表示D_n在生成图像上的梯度。

4.如权利要求2所述的基于单对图像训练的条件生成对抗网络模型的方法，其特征在于，训练图像翻译模型中使用重构损失鼓励生成器从固定的噪声和语义标注图生成与真实图像一致的图像：

其中，为第(n+1)尺度生成的重构图像，在第n尺度中，重构图像的计算方式为：

其中，当n＝N-1时，生成器根据一个事先给定的噪声z_*和s₀生成。

5.如权利要求2所述的基于单对图像训练的条件生成对抗网络模型的方法，其特征在于，训练图像翻译模型中使用特征匹配损失迫使生成器在不同分辨率上生成自然的特征：

其中，T表示判别器D_n是一个有T个非线性输出层的网络，i为第i层的非线性层，为判别器D_n对真实样本的判别结果，为判别器D_n对生成样本的判别结果。