[发明专利]基于多尺度内容注意力机制的图像修复方法、存储介质和终端

说明书

本发明公开了基于多尺度内容注意力机制的图像修复方法、存储介质和终端，包括以下步骤：将待修复图像输入至训练完成的图像修复网络中进行图像修复；所述图像修复网络包括顺次连接的边缘检测模块、边缘生成对抗网络和内容生成对抗网络；所述边缘生成对抗网络包括边缘生成器G₁，所述内容生成对抗网络包括内容生成器G₂；所述边缘生成器G₁和内容生成器G₂均包括若干卷积层、若干残差块和若干反卷积层，在所述反卷积层之间还包括一个多尺度内容注意力模块。本发明利用已知补丁的特征作为卷积过滤器来处理预生成的补丁，并利用多尺度补丁实现残缺生成区域与周围背景区域的基本特征和整体风格的一致性。

技术领域

本发明涉及图像修复领域，尤其涉及基于多尺度内容注意力机制的图像修复方法、存储介质和终端。

背景技术

图像补全算法对需要移除的内容添加特殊遮挡的标记并处理，生成满足视觉要求逼真的照片。图像补全技术是一种介于图像编辑和图像生成的技术，利用破损部分的领域图像信息和整体结构信息对缺失部分进行填充和修复。修补部分能与原始图像需要达到风格统一、过渡自然、符合图像语义的要求，满足观察者的视觉需求，使观察者无法分辨出真实图像与生成图像。

针对图像补全任务，研究人员提出了多种不同的方法，大致可分为三类：(1)基于像素点传播扩散的方法(Diffusion-based methods)，通过引入欧拉弹性来传播缺失部分周围的局部信息来填充该区域。(2)基于补丁的方法(Patch-based methods)，通过从相同图像(或图像集合)的相似区域(即源)复制信息来填充缺失的区域(即目标)。(3)基于深度学习的方法(Deep learning-based methods)，通过生成对抗网络(GAN)来学习图像特征，使用卷积神经网络来训练生成模型补全缺损图像，添加辅助网络进行训练鉴别器，判断输出图像是生成图像还是真实图像。

目前，图像修复算法存在的主要缺陷是：(1)目前图像修复算法在大面积丢失时或高纹理区域缺失时，补全结果不符合图像语义；(2)修复结果与原始图像的过渡不够自然、风格不够统一、细节纹理模糊不清。

发明内容

本发明的目的在于克服现有技术的不足，提供基于多尺度内容注意力机制的图像修复方法、存储介质和终端。

本发明的目的是通过以下技术方案来实现的：

本发明的第一方面，提供基于多尺度内容注意力机制的图像修复方法，包括以下步骤：

将待修复图像输入至训练完成的图像修复网络中进行图像修复；

所述图像修复网络包括顺次连接的边缘检测模块、边缘生成对抗网络和内容生成对抗网络；所述边缘生成对抗网络包括边缘生成器G₁和边缘鉴别器D₁，所述内容生成对抗网络包括内容生成器G₂和内容鉴别器D₂；

所述边缘生成器G₁和内容生成器G₂均包括若干卷积层、若干残差块和若干反卷积层，在所述反卷积层之间还包括一个多尺度内容注意力模块；所述多尺度内容注意力模块分别利用侧重提取图像风格特征的第一补丁和侧重提取图像基本特征的第二补丁，作为卷积滤波器来处理预生成的特征补丁，合并特征后输出。

进一步地，所述图像修复网络的训练包括以下子步骤：

获取残缺图样本完整图样本I_gt和遮罩图样本M；

将残缺图样本输入至边缘检测模块中得到残缺图的边缘图并将完整图样本输入至边缘检测模块中得到完整图的边缘图C_gt；

将残缺图的边缘图残缺图的灰度图和遮罩图M输入至边缘生成对抗网络，得到边缘假想图C_pred；