[发明专利]图像修复方法和装置

说明书

本申请提出一种图像修复方法和装置，涉及计算机视觉技术领域，其中，方法包括：获取包括擦除部分区域的原始图片，并使用预设智能体对擦除部分区域进行分类处理，获取擦除区域类型概率图；获取擦除部分区域中的待修复目标区域输入自适应局部图像修复网络中，获取局部图像修复结果；根据局部图像修复结果和擦除区域类型概率图进行加权求和，获取局部修复结果，根据局部修复结果更新所述原始图片；重复上述过程，直到擦除部分区域完全修复，获取修复图像。由此，通过一个感知被遮区域类型的智能体和自适应的局部修复网络的串联进行逐步的图像修复，从而提高模型对大量不规则区域被擦除时进行修复的准确性和效率。

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种图像修复方法和装置。

背景技术

通常，图像修复的任务是对于给定的一张图片，擦除其中部分区域，通过算法自动恢复出被擦除的部分，或是用合理的内容将被擦除的区域填充。图像修复在照片编辑、物体移除、老照片恢复等许多图像处理任务中都有着广泛的应用。虽然这一问题已经被研究了许多年，但是给出一个完美的恢复结果仍然具有相当的挑战，尤其是有大量不规则区域被擦除的时候。

相关技术的图像修复方法可以分为两类：传统的基于区块的方法和基于深度学习的方法，传统的方法试图从未擦除的区域中寻找合适的区块来对被擦除的区域修补。这些方法通常只在简单的情况下有效，例如能从背景区域中找到与被擦除区域周围部分接近的区块时。这些方法不会对图片中的物体有语义上的理解，所以在复杂场景中表现欠佳。深度学习的方法由于它能够学习结构特征的强大能力已经在图像修复中被广泛使用，例如基于生成对抗网络的方法和基于局部卷积网络的方法。这些方法的被擦除区域类型可以大致分成两类:(1)被擦除的区域是规则的形状，比如矩形或椭圆等。(2)被擦除的区域是不规则的形状。

另外，早期的方法大多针对的是规则区域的图像擦除，近几年逐步有针对不规则区域的方法，例如循环推理网络，门网络，局部卷积网络等。但这些方法并未针对被遮区域的类型(形状，被擦除的比例等)进行网络的训练，所以在有各种不规则形状的擦除区域出现时性能欠佳。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种图像修复方法，解决现有图像擦除方法在大量不规则区域被擦除时性能不够鲁棒的问题，通过一个感知被遮区域类型的智能体和自适应的局部修复网络的串联进行逐步的图像修复，从而提高模型对大量不规则区域被擦除时性能的鲁棒性。

本申请的第二个目的在于提出一种图像修复装置。

为达上述目的，本申请第一方面实施例提出了一种图像修复方法，包括：

S1，获取包括擦除部分区域的原始图片，并使用预设智能体对所述擦除部分区域进行分类处理，获取擦除区域类型概率图；

S2，获取所述擦除部分区域中的待修复目标区域输入自适应局部图像修复网络中，获取局部图像修复结果；

S3，根据所述局部图像修复结果和所述擦除区域类型概率图进行加权求和，获取局部修复结果，根据所述局部修复结果更新所述原始图片；

S4，重复执行步骤S1-S3，直到所述擦除部分区域完全修复，获取修复图像。

本申请实施例的图像修复方法，通过获取包括擦除部分区域的原始图片，并使用预设智能体对擦除部分区域进行分类处理，获取擦除区域类型概率图；获取擦除部分区域中的待修复目标区域输入自适应局部图像修复网络中，获取局部图像修复结果；根据局部图像修复结果和擦除区域类型概率图进行加权求和，获取局部修复结果，根据局部修复结果更新所述原始图片；重复上述过程，直到擦除部分区域完全修复，获取修复图像。由此，通过一个感知被遮区域类型的智能体和自适应的局部修复网络的串联进行逐步的图像修复，从而提高模型对大量不规则区域被擦除时进行修复的准确性和效率。