[发明专利]一种基于纹理结构感知的二段式图像修复方法

说明书

本发明涉及一种基于纹理结构感知的二段式图像修复方法，用于解决图像修复的技术问题，具体包括两个阶段：图像结构生成阶段用于生成图像缺失区域的结构信息；图像内容生成阶段将获得的结构信息作为先验，结合受损图像的纹理和颜色信息来完成图像；每个阶段对应一个生成对抗网络，两个生成对抗网络结构相同；图像结构生成阶段将受损图像的灰度图、结构图和受损图像的掩膜三种图输入图像结构生成阶段训练完成的编码器中，经过九个残差块和解码器得到重构的结构图；图像内容生成阶段：将重构得到的结构图、受损图像以及受损图像的掩膜输入到图像内容生成阶段训练完成的编码器，依次经过九个残差块和解码器得到修复完成的图像。

技术领域：

本发明涉及计算机图像处理领域，具体涉及一种基于纹理结构感知的二段式图像修复方法。

背景技术：

图像修复是用视觉上的真实和语义上的相似的内容填充缺失区域的过程。这是一个经典的、具有挑战性的图像处理课题，广泛应用于图像编辑、基于图像的渲染和计算摄影等领域。传统的基于图像块的图像修复方法是从已知区域搜索并复制最匹配的图像块到缺失的区域。这种传统的图像修复方法对静态纹理的处理效果较好，但对人脸等复杂或非重复结构的纹理处理效果有限，不适用于高层语义信息的捕获。

近年来，基于卷积神经网络的方法在图像修复领域取得了巨大的成功。Pathak等人首先利用对抗损失函数训练深度神经网络来预测缺失区域，这有利于捕获大面积缺失区域的边缘和全局结构。Ishikawa等人通过结合全局和局部的对抗损失函数来改进它，以产生更精细的纹理。Yu等人提出了一个上下文注意层来搜索背景区域中相似度最高的图像块。Yan等人引入了一种带导向损失的转换操作。Yang等人提出了一种多尺度神经片综合(MNPs)方法，结合了基于CNN的方法和基于图像块的方法。Liu等人提出了部分卷积来避免生成的结果失真。然而，大多数这些现有的方法无法同时生成合理的结构和精细的纹理细节。

综上，现有的图像修复算法生成图像质量较低，结构扭曲、纹理细节模糊，具有一定的局限性。

发明内容

本发明的目的是克服上述现有技术的缺点，提供一种质量高的图像修复方法，该方法能有效地重构出合理的结构和精细的纹理，处理任意形状的缺失区域，在视觉上生成合理的结果。

本发明的基于纹理结构感知的二段式图像修复方法，将图像修复任务分为两个部分：图像结构生成和图像内容生成。在第一阶段，网络生成缺失区域的结构信息；而在第二阶段，网络将这些结构信息作为先验，结合已有的纹理和颜色信息来完成图像。整个网络由两个生成对抗网络组成，生成器由编码器、九个带有空洞卷积的残差块和解码器组成。采用PatchGAN架构来设计判别器。其中，编码器由三个卷积层组成，解码器由三个卷积层组成，判别器由5个卷积层构成。

利用训练完成的两阶段生成器进行图像修复：

第一阶段：将受损图像的灰度图、结构图和受损图像掩膜三种图输入图像结构生成阶段训练完成的编码器中，经过九个残差块和解码器得到重构的结构图。

第二阶段：将第一阶段重构得到的结构图、受损图像以及受损图像的掩膜输入图像内容生成阶段训练完成的编码器中，依次经过九个残差块和解码器得到修复完成的图像。

在图像修复前需要对两阶段生成对抗网络进行训练，具体训练过程如下

步骤一：将训练集中受损图像的灰度图、结构图和掩膜输入第一阶段生成器网络中，第一阶段判别器判别图像真伪，通过损失函数迭代地调整参数，最终得到重建的结构图

步骤二：将步骤一重建得到的结构图和训练集中受损图像输入第二阶段的生成器网络，通过第二阶段的判别器判别图像真伪，通过损失函数迭代地调整参数，生成修复后的图像

每个步骤的具体操作如下：