[发明专利]一种基于生成对抗网络的多域图像转换方法与系统

权利要求书

1.一种基于生成对抗网络的多域图像转换方法，其特征在于实施步骤包括：

1)输入指定的X、Y两个模态的原图x、原图y；

2)将原图x进行X模态编码得到第一原图特征code_x，将第一原图特征code_x进行X模态解码得到第一重建图x'，将第一重建图x'进行X模态编码得到第一重建特征code_x'；将原图y进行Y模态编码得到第二原图特征code_y，将第二原图特征code_y进行Y模态解码得到第二重建图y'，将第二重建图y'进行Y模态编码得到第二重建特征code_y'；

3)将第一原图特征code_x、第一重建特征code_x'进行特征鉴别，将第二原图特征code_y、第二重建特征code_y'进行特征鉴别对抗学习；将原图x、第一重建图x'进行X模态鉴别对抗学习，将原图y、第二重建图y'进行Y模态鉴别对抗学习；

4)将第一原图特征code_x进行Y模态解码得到第三重建图y”，将第三重建图y”进行Y模态编码得到第三重建图特征code_y”，将第三重建图特征code_y”进行X模态解码得到第一循环重建图x”'；将第二原图特征code_y进行X模态解码得到第四重建图x”，将第四重建图x”进行X模态编码得到第四重建图特征code_x”，将第四重建图特征code_x”进行Y模态解码得到第二循环重建图y”'；

5)将原图x、第四重建图x”进行X模态鉴别对抗学习，将原图y、第三重建图y”进行Y模态鉴别对抗学习；将第一原图特征code_x、第三重建图特征code_y”进行特征鉴别对抗学习，将第二原图特征code_y、第四重建图特征code_x”进行特征鉴别对抗学习；

6)计算系统网络总体损失；

7)对系统网络总体损失求导，开启反向传播每个损失函数反向逐层计算出各层参数的梯度值，然后根据各层参数梯度更新这些参数，完成本轮迭代，且所述第一循环重建图x”'以及第二循环重建图y”'构成本轮迭代的输出结果；

其中步骤6)的详细步骤包括：

6.1)分别计算X模态鉴别损失loss_D,x、Y模态鉴别器损失loss_D,y、特征鉴别损失loss_D,c，并计算网络生成总体损失loss₄；

6.2)根据X模态鉴别损失loss_D,x、Y模态鉴别器损失loss_D,y、特征鉴别损失loss_D,c以及网络生成总体损失loss₄计算系统网络总体损失；

其中步骤6.2)中计算系统网络总体损失的函数表达式如式(1)所示；

loss_total＝(loss₄+loss_D,x+loss_D,y+loss_D,c)×γ (1)

式(1)中，loss_total表示系统网络总体损失，loss₄为网络生成总体损失，loss_D,x为X模态鉴别损失，loss_D,y为Y模态鉴别损失，loss_D,c为特征鉴别损失，γ为网络的学习率。

2.根据权利要求1所述的基于生成对抗网络的多域图像转换方法，其特征在于，所述X、Y两个模态均有各自独立的编码器、解码器及鉴别器，且由编码器、解码器构成对应模态下的生成器，所述X、Y两个模态具有共用的特征鉴别器，所述X模态编码是通过X模态对应的编码器实现的，所述X模态解码是通过X模态对应的解码器实现的，所述X模态鉴别是通过X模态对应的鉴别器实现的，所述Y模态编码是通过Y模态对应的编码器实现的，所述Y模态解码是通过Y模态对应的解码器实现的，所述Y模态鉴别是通过Y模态对应的鉴别器实现的。

3.根据权利要求2所述的基于生成对抗网络的多域图像转换方法，其特征在于，所述对应模态下的生成器为U-net网络，且编码器对应U-net网络的收缩路径，解码器对应U-net网络的扩张路径，所述收缩路径和扩张路径均为卷积神经网络结构。