[发明专利]一种基于边缘信息重建的图像修复方法

权利要求书

1.一种基于边缘信息重建的图像修复方法，其特征在于，包括以下步骤：

1)准备图像数据集，完成图像数据集选取和图像预处理，并进行数据划分；

2)构建图像修复模型，采用生成式对抗网络架构，包含一个生成器和一个鉴别器；生成器接收一张受损图像和其对应的受损边缘图，生成修复图像；鉴别器对修复结果进行真伪判别；

3)设置模型训练约束，采用联合损失对模型训练进行约束，联合损失包含重建损失、感知损失、风格损失、对抗损失和中间特征损失；

4)训练图像修复模型，采用反向传播算法，迭代更新优化网络参数，直至模型损失趋于收敛；

5)进行图像修复，将受损图像输入到训练所得修复模型中，模型输出即为修复结果；

所述的生成器为双流图像修复网络，可同时实现结构信息重建和纹理信息合成，并在深度网络模型的中间阶段，在结构特征和纹理特征之间交换所提取的信息，形成相互约束和指导，进而融合恢复的纹理与结构特征实现受损图像修复。

2.根据权利要求1所述的图像修复方法，其特征在于，所述生成器结构具体如下：

纹理编码器：从受损图像中提取受损图像的纹理特征；

结构编码器：从受损边缘图中提取受损图像的结构特征；

纹理解码器：通过多层次神经网络解码纹理编码器所提取的多尺度纹理特征，并在本解码器的多个网络层次上融合结构编码器提取的结构先验信息，最终解码出重建图像的纹理特征；

结构解码器：通过多层次神经网络解码结构编码器所提取的多尺度结构特征，并在本解码器的多个网络层次上融合纹理编码器提取的纹理特征，最终解码出重建图像的完整结构特征；

特征融合阶段：融合纹理解码器输出的纹理特征与结构解码器输出的结构特征，进一步合成修复图像。

3.根据权利要求2所述的图像修复方法，其特征在于，所述特征融合阶段包括双向门控特征融合模块，用于保证生成的修复结果纹理与结构的一致性；所述双向门控特征融合模块包含两个单向门控特征融合模块，对于输入的纹理特征F_t和结构特征F_s，分别计算纹理特征到结构特征融合的单向门G_t和结构特征到纹理特征融合的单向门G_s，基于G_t和G_s分别执行单向门控操作得到纹理感知的结构特征F_s′和结构感知的纹理特征F_t′，进一步拼接F_s′和F_t′得到融合后的特征F_b；具体计算如下：

G_t＝σ(g(Concat(F_t,F_s)))

G_s＝σ(h(Concat(F_t,F_s)))

F_b＝Concat(F_s′,F_t′),

其中，σ表示Sigmoid激活函数，g和h表示卷积核大小为3的卷积操作，Concat表示特征的通道连接操作，α和β为两个可学习的参数，且初始化为0，⊙和分别表示逐元素乘法和逐元素加法。