[发明专利]一种图像增强方法及装置

权利要求书

1.一种图像增强方法，其特征在于，包括：

建立基于单域数据集的循环生成对抗网络，其中，单域数据集中的样本图像为已增强图像，循环生成对抗网络包含生成器和判别器，生成器用于生成原图的增强图像，判别器用于辨别原图与增强图像的高层特征相似度，高层特征为生成器中的卷积层提取到的图像特征；

确定循环生成对抗网络的目标函数；

将单域数据集中的每一个样本图像依次输入到生成器中，对建立的循环生成对抗网络进行训练，得到最优的生成器，利用得到的最优的生成器对待增强图像进行图像增强；

其中，所述确定循环生成对抗网络的目标函数包括：

确定生成器G和判别器D’的对抗损失函数L_GAN(G,D′,X)，其中，X表示单域数据集；

确定生成器G’和判别器D的对抗损失函数L_GAN(G′,D,X)；

确定生成器G和G’的循环一致损失函数L_cyc(G,G′)；

根据确定的L_GAN(G,D′,X)、L_GAN(G′,D,X)和L_cyc(G,G′)，确定循环生成对抗网络的总损失函数L(G,G′,D,D′)，L(G,G′,D,D′)表示为：

L(G,G′,D,D′)＝L_GAN(G,D′,X)+L_GAN(G′,D,X)+βL_cyc(G,G′)

其中，β表示训练循环生成对抗网络时的权重；

根据得到的L(G,G′,D,D′)，确定循环生成对抗网络的目标函数为：

其中，G^*、G′^*都表示最优的生成器；

其中，L_GAN(G,D′,X)表示为：

L_GAN(G,D′,X)＝E_x∈Pdata(x)[logD′(x)]+E_x∈Pdata(x)[log(1-D′(G(x)))]

其中，Pdata(x)表示单域数据集X，x表示单域数据集X中的样本图像；E[·]表示取一个训练批次中所有样本计算的期望值；x’表示样本图像x输入到生成器G中后所生成的增强图像；D’(x)表示将x输入判别器D中进行判别；G(x)表示将x放入生成器G中做图像生成；D′(G(x))表示将G(x)生成的图像输入到D′中进行判别；

其中，循环一致损失函数L_cyc(G,G′)表示为：

L_cyc(G,G′)＝E_x∈Pdata(x)[||G′(G(x))-x||₁]

其中，||·||₁表示1-范数；

其中，所述将单域数据集中的每一个样本图像依次输入到生成器中，对建立的循环生成对抗网络进行训练，得到最优的生成器包括：

将单域数据集X中的每一个样本图像x依次输入到生成器G中，生成增强图像x’，将增强图像x’与原图x输入到判别器D’中做是否仍是相似的图像的判别，输出对抗损失，将增强图像x’输入到生成器G’，得到近似x的图像x”，对图像x”与原图x计算循环一致损失；

将单域数据集X中的每一个样本图像x依次输入到生成器G’中，生成增强图像x’，将增强图像x’与原图x输入到判别器D中做是否仍是相似的图像的判别，输出对抗损失，将增强图像x’输入到生成器G，得到近似x的图像x”，对图像x”与原图x计算循环一致损失；

根据判别器的输出和计算得到的循环一致损失，优化目标函数获取最优的生成器。

2.根据权利要求1所述的图像增强方法，其特征在于，循环生成对抗网络包括：具有相同结构的生成器G、G’和具有相同结构的判别器D、D’；

每个生成器包括：输入层、三个训练的卷积层、六个残差模块和两个转置卷积层；

每个判别器包括：输入层、三个训练的卷积层。

3.根据权利要求1所述的图像增强方法，其特征在于，在训练过程中，对于生成器G、G’和判别器D、D’采用分布训练的模式，即训练生成器时，固定判别器的参数，不对判别器的参数进行更新，只更新生成器的参数；训练判别器时，固定生成器的参数，不对生成器的参数进行更新，只更新判别器的参数。

4.一种图像增强装置，其特征在于，包括：

建立模块，用于建立基于单域数据集的循环生成对抗网络，其中单域数据集中的样本图像为已增强图像，循环生成对抗网络包含生成器和判别器，生成器用于生成原图的增强图像，判别器用于辨别原图与增强图像的高层特征相似度，高层特征为生成器中的卷积层提取到的图像特征；

确定模块，用于确定生成器G和判别器D’的对抗损失函数L_GAN(G,D′,X)，其中，X表示单域数据集；确定生成器G’和判别器D的对抗损失函数L_GAN(G′,D,X)；确定生成器G和G’的循环一致损失函数L_cyc(G,G′)；根据确定的L_GAN(G,D′,X)、L_GAN(G′,D,X)和L_cyc(G,G′)，确定循环生成对抗网络的总损失函数L(G,G′,D,D′)，根据得到的L(G,G′,D,D′)，确定循环生成对抗网络的目标函数；

其中，L(G,G′,D,D′)表示为：

L(G,G′,D,D′)＝L_GAN(G,D′,X)+L_GAN(G′,D,X)+βL_cyc(G,G′)

其中，β表示训练循环生成对抗网络时的权重；

其中，L_GAN(G,D′,X)表示为：

L_GAN(G,D′,X)＝E_x∈Pdata(x)[logD′(x)]+E_x∈Pdata(x)[log(1-D′(G(x)))]

其中，Pdata(x)表示单域数据集X，x表示单域数据集X中的样本图像；E[·]表示取一个训练批次中所有样本计算的期望值；x’表示样本图像x输入到生成器G中后所生成的增强图像；D’(x)表示将x输入判别器D中进行判别；G(x)表示将x放入生成器G中做图像生成；D′(G(x))表示将G(x)生成的图像输入到D′中进行判别；

其中，循环一致损失函数L_cyc(G,G′)表示为：

L_cyc(G,G′)＝E_x∈Pdata(x)[||G′(G(x))-x||₁]

其中，||·||₁表示1-范数；

其中，确定的循环生成对抗网络的目标函数为：

其中，G^*、G′^*都表示最优的生成器；

训练模块，用于将单域数据集X中的每一个样本图像x依次输入到生成器G中，生成增强图像x’，将增强图像x’与原图x输入到判别器D’中做是否仍是相似的图像的判别，输出对抗损失，将增强图像x’输入到生成器G’，得到近似x的图像x”，对图像x”与原图x计算循环一致损失；将单域数据集X中的每一个样本图像x依次输入到生成器G’中，生成增强图像x’，将增强图像x’与原图x输入到判别器D中做是否仍是相似的图像的判别，输出对抗损失，将增强图像x’输入到生成器G，得到近似x的图像x”，对图像x”与原图x计算循环一致损失；根据判别器的输出和计算得到的循环一致损失，优化目标函数获取最优的生成器，以便利用得到的最优的生成器对待增强图像进行图像增强。