[发明专利]一种改进生成对抗网络的图像修复方法

说明书

本发明所提供的一种基于生成对抗网络的图像修复的方法，以U‑Net与注意力机制为基础，利用改进U‑Net提取大范围、多尺度的特征信息，使用注意力机制网络获取全局特征信息，通过验证，本发明的修复算法具有更优秀的修复效果，具有广泛的应用价值。

技术领域

本发明属于计算机图像处理技术领域，具体涉及一种基于生成对抗网络的图像修复的方法。

背景技术

图像修复是一项依据残缺图像预测得到完整图像的技术，是极具竞争力的先进技术，其应用领域遍及各行各业。的随着计算机图像处理技术的发展，研究图像修复的方法越来越多。数字图像修复方法主要分为传统修复算法和基于深度学习的修复方法两个方向。传统修复方法主要以基于扩散和基于样本的两类方法为主。Bertalmio等(Proceedings ofthe 27th annual conference on Computer graphics and interactive techniques)模拟人工修复图像的方法，首次提出了一种基于扩散的图像修复方法，得到了一定的修复效果。基于扩散的方法将背景信息扩散传播到缺失区域，但是算法计算量大，需要大量的运行时间。针对上述问题，Chan等(Mathematical models for local nontextureinpaintings)提出了总变分(TV)模型，该模型显著的提高了修复速率，但是修复结果的连续性不足。何凯等在TV算法中加入了阈值参数，使得模型训练速度加快，降低了运行时间。基于样本的方法通过对背景区域搜索，获取与缺失区域相识度较高的样本块，用于填充缺失区域。例如，Barnes等(Arandomized correspondence algorithm for structuralimage editing)利用快速近邻的方式，采用样本匹配算法，降低了模型的复杂度，提高了计算速度。Criminisi等(Toyama K.Region filling and object removal by exemplar-based image inpainting)利用置信度和嵌入边界信息确定填充顺序的优先级，搜索待填充图像的完整区域块相似度最高的像素块，更新待填充块的边界和置信度，完成图像的补全。传统图像修复方法修复小面积缺失的古画时取得了一定的效果，然而大面积缺失时修复效果较差。

近年来，以卷积神经网络(CNN)、循环神经网络(RNN)等为代表的深度学习被广泛用于自然语音处理、计算机视觉、医疗以及交通等领域。广大专家学者采用深度学习的基本模块，将其应用于数据、图像等补全的研究中。Wang等(New inpainting algorithm basedon simplified context encoders and multi-scale adversarial network)以自动编码结构结合多尺度卷积为基础，提出了生成对抗网络(GAN)为模型框架的图像修复模型提升了模型局部特征提取能力，取得了一定的修复效果。由于该模型缺乏提取全局特征信息的能力，导致部分的修复结果中，轮廓紊乱。Edger等(Au-net based discriminator forgenerative adversarial networks)提出了基于U形网络(U-Net)改进判别器的GAN模型。该模型通过判别器每次迭代结果的反馈，提高了生成数据的全局一致性。然而模型没有考虑生成器的优化，导致模型学习能力差。

发明内容

本发明主要是克服现有技术中的不足之处，本发明的目的是提供一种基于基于生成对抗网络的图像修复的方法。

为达到以上技术目的，本发明采用以下技术方案：

步骤1：采集原始图像，对图像进行预处理，具体处理方式为：

(1)对原始图像进行预处理，统一设置为n×n大小并进行裁剪、旋转以及镜像翻转操作，扩充数据；

(2)人工生成出不同尺寸、形状的缺陷二值图，并与原始图像合成出缺陷图像；

(3)将预处理后的图像数据集划分为训练集和测试集，以预处理后得到的图像作为训练目标；