[发明专利]一种基于新型生成对抗网络的眼部图像修复方法

权利要求书

1.一种基于新型生成对抗网络的眼部图像修复方法，其特征在于，主要包括眼部图像修复(一)；新型生成对抗网络(二)；模型架构(三)。

2.基于权利要求书1所述的眼部图像修复(一)，其特征在于，使用参考图像区域内的样本信息进行修复，使用一个感知代码描述该对象，在对抗网络中的多个点上插入额外信息，增加其描述能力，产生更真实的修复效果。

3.基于权利要求书1所述的新型生成对抗网络(二)，其特征在于，引入新型生成对抗网络(ExGAN)，生成器创建图像后，得到第二个图像，使用第二个图像的相关信息指导生成器，随着越来越多的数据集被开发，假设特定对象的第二图像合理存在，修复面部图像时，采用同一个人在不同时间或不同姿势的第二图像作为参考图像，网络通过学习，将这些信息合并为一个语义指南，生成正确的修复结果，ExGAN在保留原始照片特征的同时，利用参考数据，在ExGAN中提出两种独立的方法来修复图像：首先是基于参考图像进行修复的方法，在生成器G中参考图像r_i作为向导，在鉴别器D中使用参考图像r_i作为附加信息来确定所生成的图像是否为真；其次是基于代码的修复方法，在信息区域创建感知代码c_i，将人眼图像的压缩版本存储在向量中，其中每个目标都以附加信息r_i和c_i为条件，为目标添加额外的内容损失项。

4.基于权利要求书3所述的鉴别器，其特征在于，鉴别器处理整个人脸图像和放大的眼睛图像，全局对抗性损失强化整体语义的一致性，局部对抗性损失确保所生成输出的细节以及清晰度，全局卷积分支和局部卷积分支的输出通过连接形成一个S形函数，在鉴别器D中输入参考图像，将额外的全局卷积分支添加到鉴别器中，把三个分支的输出连接起来。

5.基于权利要求3所述的基于参考图像进行修复，其特征在于，训练集x_i中的每个图像都存在一个对应的参考图像r_i，训练集X被定义为一个元组X＝{(x₁,r₁)}，在眼部图像修复中，r_i是x_i中同一个人不同姿态的图像，在x_i中移除修补程序生成新图像z_i，将学习目标定义为：

为了更好的普遍化，在训练集x_i中对应地给定一组参考图像集合R_i，将训练集扩展到一个元组集合：X＝{x₁×R₁,…,x_n×R_n}，该集合由每个需要的修复图像及其参考图像之间的笛卡尔乘积组成。

6.基于权利要求3所述的基于代码的修复，其特征在于，数据集中每个图像的像素数为|I|，假设存在一个压缩函数其中N＜＜|I|，对于每个需要修复的图像z_i及其相应的参考图像r_i，使用r_i生成代码c_i＝C(r_i)，鉴于已编码的样本信息，将对抗目标定义为：

其中，压缩函数是一个将实例投影到某个流形上的通用深度网络，等式(2)中的最后一项是感知区域中的生成图像G(z_i,c_i)与原始参考图像r_i距离的可选损失，与测量低维流形中生成图像和参考图像之间的距离相对应，如果生成器G是完全卷积的，当输入c_i时，需要修改其架构以便处理任意数量的向量。

7.基于权利要求书6所述的压缩函数，其特征在于，为了生成感知代码c_i，为压缩函数C训练一个单独的自动编码器，在训练C期间，编码器选取单只眼睛作为输入，自动编码器的解码器分成左右分支，分别对应左右眼不同的目标，以确保编码器学习双眼的共同特征时没有重复，通过编码对特征进行区分，每只眼睛都用128维度的浮点向量进行编码，通过组合这些编码形成256维度的眼图编码。