[发明专利]一种基于LSK-FNet模型的图像修复方法

权利要求书

1.一种基于LSK-FNet模型的图像修复方法，其特征在于，包括如下步骤：

构建并训练边缘生成网络；

构建并训练图像修复网络；

将所述边缘生成网络和所述图像修复网络结合，形成端到端的LSK-FNet模型，并对所述LSK-FNet模型进行训练；

利用所述LSK-FNet模型对人脸图像进行修复。

2.如权利要求1所述的基于LSK-FNet模型的图像修复方法，其特征在于，在构建并训练边缘生成网络的步骤中：

所述边缘生成网络由第一生成器和第一判别器组成，所述第一生成器包括向下采样两次的第一编码器、八个连续第一残差块以及向上采用两次的第一解码器，所述第一残差块中加入门控卷积模块。

3.如权利要求2所述的基于LSK-FNet模型的图像修复方法，其特征在于，

所述边缘生成网络基于深度卷积生成对抗网络模型。

4.如权利要求3所述的基于LSK-FNet模型的图像修复方法，其特征在于，在构建并训练边缘生成网络的步骤中：

利用对抗损失函数和特征匹配损失函数训练所述对抗网络模型，得到所述边缘生成网络。

5.如权利要求4所述的基于LSK-FNet模型的图像修复方法，其特征在于，在构建并训练图像修复网络的步骤中：

所述图像修复网络由第二生成器以及第二判别器组成，所述第二生成器由向下采样两次的第二编码器、八个连续第二残差块以及向上采用两次的第二解码器组成，所述第二残差块中加入门控卷积模块。

6.如权利要求5所述的基于LSK-FNet模型的图像修复方法，其特征在于，在构建并训练图像修复网络的步骤中：

利用重建损失函数、对抗损失函数、风格损失函数和感知损失函数训练所述对抗网络模型，得到所述图像修复网络；且所述图像修复网络中使用区域归一化。

7.如权利要求6所述的基于LSK-FNet模型的图像修复方法，其特征在于，将所述边缘生成网络和所述图像修复网络结合，形成端到端的LSK-FNet模型，并对所述LSK-FNet模型进行训练，包括：

首先，通过所述边缘生成网络中的所述第一生成器来修复破损的边缘图像，并且输入由Canny算法所提取的完整边缘图像，通过训练边缘生成模型，来生成修复后的边缘图像；

其次，利用Canny算法所提取的完整边缘图像为先验信息和破损面部图像作为输入，使得所述图像修复网络适应边缘信息进行修复图像；

最后，将边缘生成网络和图像修复网络相结合起的模型进行破损面部图像的训练，实现端到端的破损人脸修复，形成端到端的所述LSK-FNet模型。

8.如权利要求7所述的基于LSK-FNet模型的图像修复方法，其特征在于，利用所述LSK-FNet模型对人脸图像进行修复，包括：

首先，利用所述边缘生成网络生成修复的边缘信息作为后续图像修复的先验信息；

然后将生成的先验信息和破损原图一起放入所述图像修复网络中进行修复。