[发明专利]基于多尺度内容注意力机制的图像修复方法、存储介质和终端

权利要求书

1.基于多尺度内容注意力机制的图像修复方法，其特征在于：包括以下步骤：

将待修复图像输入至训练完成的图像修复网络中进行图像修复；

所述图像修复网络包括顺次连接的边缘检测模块、边缘生成对抗网络和内容生成对抗网络；所述边缘生成对抗网络包括边缘生成器G₁和边缘鉴别器D₁，所述内容生成对抗网络包括内容生成器G₂和内容鉴别器D₂；

所述边缘生成器G₁和内容生成器G₂均包括若干卷积层、若干残差块和若干反卷积层，在所述反卷积层之间还包括一个多尺度内容注意力模块；所述多尺度内容注意力模块分别利用侧重提取图像风格特征的第一补丁和侧重提取图像基本特征的第二补丁，作为卷积滤波器来处理预生成的特征补丁，合并特征后输出；

所述多尺度内容注意力模块的具体实现包括：

利用侧重提取图像风格特征的3*3补丁和侧重提取图像基本特征的1*1补丁作为卷积滤波器提取背景特征；

利用欧式距离度量补丁的相似度得分d_{(x,y),(x',y')}；

采用核大小为k的自左向右，再自顶向下的进行注意力传播；

将生成的特征图和原始特征图连接起来；

利用逐像素卷积运算对所有特征图进行合并，将通道数减少到原始通道数；

所述将生成的特征图和原始特征图连接起来，用g_in,μg_att1*1,γg_att3*3表示，其中μ和γ分别表示g_att1*1特征图和g_att3*3特征图的贡献权重；在所述边缘生成器G₁中，预设μ＞γ；所述内容生成器G₂中，预设γ＞μ。

2.根据权利要求1所述的基于多尺度内容注意力机制的图像修复方法，其特征在于：所述图像修复网络的训练包括以下子步骤：

获取残缺图样本完整图样本I_gt和遮罩图样本M；

将残缺图样本输入至边缘检测模块中得到残缺图的边缘图并将完整图样本输入至边缘检测模块中得到完整图的边缘图C_gt；

将残缺图的边缘图残缺图的灰度图和遮罩图M输入至边缘生成对抗网络，得到边缘假想图C_pred；

利用所述边缘假想图C_pred、遮罩图M、完整图的边缘图C_gt计算得到完整图的边缘假想图C_comp＝C_gt⊙(1-M)+C_pred⊙M，将所述完整图的边缘假想图C_comp和残缺图样本输入至内容生成对抗网络，得到内容修复图I_pred；

利用边缘假想图C_pred、完整图的边缘图C_gt、完整图的灰度图I_gray计算边缘生成对抗网络的损失，对边缘生成对抗网络进行更新；

利用完整图样本I_gt、完整图的边缘假想图C_comp、内容修复图I_pred、残缺图的边缘图非残缺区域的内容再次生成图计算内容生成对抗网络的损失，对内容生成对抗网络进行更新。

3.根据权利要求2所述的基于多尺度内容注意力机制的图像修复方法，其特征在于：所述利用边缘假想图C_pred、完整图的边缘图C_gt、完整图的灰度图I_gray计算边缘生成对抗网络的损失，包括：

利用边缘假想图C_pred、完整图的边缘图C_gt、完整图的灰度图I_gray计算得到对抗性损失L_adv,1；

利用边缘假想图C_pred、完整图的边缘图C_gt计算得到特征匹配损失L_FM；

利用对抗性损失L_adv,1和特征匹配损失L_FM计算边缘生成对抗网络的损失。