[发明专利]一种基于纹理结构感知的二段式图像修复方法

权利要求书

1.一种基于纹理结构感知的二段式图像修复方法，其特征在于：将图像修复任务分为两个阶段：图像结构生成阶段和图像内容生成阶段；所述的图像结构生成阶段用于生成图像缺失区域的结构信息；所述的图像内容生成阶段，将获得的结构信息作为先验，结合受损图像的纹理和颜色信息来完成图像；每个阶段对应一个生成对抗网络，两个生成对抗网络结构相同，所述生成对抗网络包括生成器和判别器；

图像结构生成阶段：将受损图像的灰度图、结构图和受损图像的掩膜三种图输入图像结构生成阶段训练完成的编码器中，经过九个残差块和解码器得到重构的结构图；

图像内容生成阶段：将重构得到的结构图、受损图像以及受损图像的掩膜输入到图像内容生成阶段训练完成的编码器，依次经过九个残差块和解码器得到修复完成的图像。

2.根据权利要求1所述的一种基于纹理结构感知的二段式图像修复方法，其特征在于：所述生成器由依次串联的编码器、残差块和解码器组成。

3.根据权利要求2所述的一种基于纹理结构感知的二段式图像修复方法，其特征在于：编码器由三个卷积层串联组成，残差块为九个带有空洞卷积的残差块串联组成，解码器由三个卷积层串联组成，判别器由5个卷积层串联构成，判别器采用PatchGAN架构。

4.根据权利要求1所述的一种基于纹理结构感知的二段式图像修复方法，其特征在于：两阶段生成对抗网络的训练过程如下，

步骤一：将训练集中受损图像的灰度图、结构图和受损图像的掩膜输入图像结构生成阶段的生成器网络中，图像结构生成阶段的判别器判别图像真伪，通过损失函数迭代地调整参数，最终得到重建的结构图

步骤二：将步骤一重建得到的结构图和受损图像输入图像内容生成阶段的生成器网络，通过该阶段的判别器判别图像真伪，通过损失函数迭代地调整参数，生成修复后的图像

完成训练；

5.根据权利要求4所述的一种基于纹理结构感知的二段式图像修复方法，其特征在于：

步骤一的具体操作：

(1.1)对真实图像I_gt，取该图像的灰度对应图I_gray和结构图S_gt，得到受损图像图像的掩膜为M，M是一个二值掩膜，含义是，输入的受损图像相对于真实图像而言，受损的区域值为1，其他区域值为0；其中所述的真实图像I_gt是训练数据集中，对应于受损图像的完整图像；

(1.2)将训练集中受损图像的灰度图、结构图和受损图像的掩膜输入图像结构生成阶段的生成器，图像结构生成阶段的生成器根据下式预测缺失区域的结构：

式中，G_s表示图像结构生成阶段的生成器，表示受损图像的灰度图，表示受损图像的结构图，表示重建的结构图；

图像结构生成阶段网络的训练目标函数由L1损失函数对抗性损失函数和特征匹配损失函数L_fm组成，

其中，

对抗性损失函数如下：

式中，D_s是第一阶段的判别器，E是指数学期望，即符合真实图像的概率分布的数学期望；

特征匹配损失函数如下：

式中，是图像结构生成阶段判别器第i卷积层(i＝1，2，...，5)的激活值，N_i是第i层的元素个数，l是指图像结构生成阶段判别器的卷积层的个数；

图像结构生成阶段网络的目标函数为：

其中，λ_fm为权重系数；

通过损失函数迭代地调整参数，最终得到重建的结构图

6.根据权利要求5所述的一种基于纹理结构感知的二段式图像修复方法，其特征在于：

步骤二的具体操作：将步骤一重建的结构图和受损图像以及掩膜M输入图像内容生成阶段的生成网络，图像内容生成阶段的生成器根据下式生成最后的图像结果：

式中，G_c表示图像内容生成阶段的生成器；

图像内容生成阶段网络的训练目标函数由对抗性损失函数感知损失函数L_per和风格损失函数L_style组成；

其中，对抗损失函数函数如下：

式中，D_c是图像内容生成阶段的判别器；

引入感知损失函数用于修复完成的图像在高层语义上与真实图像相似，感知损失函数的定义如下：

式中，Φⁱ(·)表示预训练VGG-19网络中第i层的激活图，l是指预训练VGG-19网络中的层数；

风格损失度量的是激活图的协方差之间的差异，用于减轻由转置卷积引起的图像失真，风格损失函数的定义如下：

式中，表示由激活图Φⁱ(·)构造的格拉姆矩阵；

图像结构生成阶段网络的目标函数为：

其中，λ_per、λ_style表示为权重系数；

通过损失函数迭代地调整参数，完成训练。