[发明专利]基于对抗生成神经网络的图像修复方法和系统

说明书

本发明提供一种基于对抗生成神经网络的图像修复方法和系统，包括首先构建一个自编码器卷积神经网络(包括编码器和编码判别器)，一个解码器(生成器)卷积神经网络，一个判别器卷积神经网络，一个全局判别器，以及一个局部判别器；然后对这五个网络构造不同损失函数，并利用分步训练的方法对整个网络进行图像修复训练；最后，当网络训练完成以后，把缺损图像放入网络中进行修复，解码器(生成器)生成的结果图就为最终修复结果图。本发明的优点为：保持图像潜在约束的同时对图像进行稀疏化；实现了端到端的图像修复网络；消除了修复网络对于图像缺失位置掩膜信息的依赖；提升了在实际应用中的鲁棒性。

技术领域

本发明属于计算机及信息服务技术，特别涉及对缺失的数字图像进行合理修复的方法和系统。

背景技术

随着信息时代的发展以及数字化设备的普及，数字图像作为图像数据记录和传递的载体，具有信息存储高效、表达直观以及易编辑等特点，为图像拍摄、存储、处理和通信中带来了前所未有的变革。数字图像已经广泛的存在于人们生活中，并且以惊人的速度增长。图像在拍摄、存储、处理和传输中往往会产生损坏或遮挡使得图像中存储的信息失去完整性，而图像信息中的像素点往往相互之前有很强的相关性，由此我们可以根据未被损坏或未被遮挡的图像信息尽可能的还原丢失的图像信息，这就是图像的修补技术。

作为图像处理技术的一种，图像修复技术旨在根据图像上下文对图像丢失或遮挡部分进行修补，修复任务要求修复后的图像整体尽可能自然并与原图尽可能地接近。通过图像修复技术，我们可以去除图像中的一些噪声、划痕、缺失以及遮挡，提高图像质量；并进一步通过图像先验信息，进一步挖掘图像隐含信息，为其他图像处理及计算机视觉方法提供支持。

图像修复技术的研究由来已久，近年来，作为数字图像处理重要的一个分支，图像修复技术的研究十分广泛，基于多种技术的图像修复方法被提出。最早的图像修补方法由Bertalmio等人引入到图像处理中，这种方法通过建立扩散传播模型迭代的传播已知图像区域的底层纹理信息到待修复的受损未知区域。通常扩散模型使用物理学中的热扩散方程，这些典型方法包括基于BSCB(Bertalmio Sapiro Caselles Ballester，BSCB)模型平滑传播方法、Chan-Shen等人提出的三阶PDE曲率驱动扩散方法、Ballester等人提出基于照度传播的方法以及Levin等人提出的基于局部特征直方图的全局图像统计。

在此之后出现了基于几何图像变分模型的图像修补技术，其模仿图像修补师手工修复图像的过程。首先建立图像的数据模型，获得图像先验信息，从而将图像修补问题装幻化为一个泛函求极值的过程。这种方法主要包括全变分模型、Eulers elastica模型、Mumford-Shah模型、Mumford-Shah-Euler模型等。以上这些经典的图像修复技术在平滑连续的小尺度破损图像上取得的了较好的效果，但是当破损区域较大的时候，破损区内丢失的信息结构繁多且复杂，单纯的扩散或图像数据模型难以描述，使得修复效果失真。故这些方法无法应用于大尺度破损的图像。

为了对大尺度的修复区域进行修复，Alexei Efros和Thomas Leung提出了纹理合成技术，这种方法首先根据图像纹理特征选取大小合适的纹理块，之后在这些区域中选择与带修补区域附近纹理最接近的纹理块与该纹理块合成。这种方法随后由Kwatra扩展为包含图像分割和纹理生成两部分的图像拼接修复技术，同时进一步引入图像能量优化来衡量纹理接近程度。

利用纹理来修复大块丢失信息图像的方法近几年来得到了深入的研究与改进，如Bertalmio等提出的最佳斑点搜索；Barnes等提出了高效的修补纹理匹配算法；尤其是Wexler和Simakov分别实现了基于全局和局部的优化，得以获得了更加一致的局部与全局修复。这些算法随后通过PatchMatch随机候选填充区域搜索算法加速，得到了接近实时的图像修复编辑。Darabi等人通过将图像梯度整合到合成纹理之间的距离度量中，得到了更好的图像修复效果。