[发明专利]图像修复方法及装置、计算机可存储介质

说明书

本公开涉及图像修复方法及装置、计算机可存储介质，涉及图像处理领域。图像修复方法包括确定待处理图像中的存在缺失的第一区域，以及待处理图像中的除第一区域之外的第二区域的特征；根据除当前第一区域之外的第二区域的特征，生成当前第一区域的边缘的特征，以便利用边缘的特征对当前第一区域进行填充；判断当前第一区域是否被全部填充；若当前第一区域未被全部填充，则确定待处理图像中当前存在缺失的区域以作为更新后的第一区域；重复执行根据除当前第一区域之外的第二区域的特征，生成当前第一区域的边缘的特征的步骤，直到当前第一区域被全部填充为止。本公开能够提高图像修复的准确率。

技术领域

本公开涉及图像处理领域，特别涉及图像修复方法及装置、计算机可存储介质。

背景技术

图像有时会受到噪声的影响，而无法完整显示。噪声可能是旧照片的磨损，或是镜头上的灰尘或水滴，又或是人为的涂画(例如马赛克等)，还可能是图像本身的不需要的部分。利用图像修复(Image Inpainting)技术，能够使包含噪声的图像恢复原样或者成为期望的样子。

发明内容

现有的图像修复技术，在修复图像时，一次性修复所有缺失的区域。然而，给定一个输入图像，从中能够提取的已知信息很可能不足以约束所有的未知内容。尤其是对于未知内容的中心区域，经常会出现约束信息不足的问题，不能对其进行准确的推理，这就可能导致模糊或错误的结果。

此外，现有技术中，使用的是全空间的单一归一化方式。这种全空间的单一归一化方式，可能会因为归一化的元素中包含了无效信息(缺失区域的信息)，导致归一化的均值和方差产生偏移，从而导致生成的结果存在一定的偏差。

为此，本公开提出了一种图像修复方法，通过循环修复图像的缺失区域的边缘部分，完成图像的修复，提高了图像修复的准确率。

根据本公开的第一方面，提供了一种图像修复方法，包括：确定待处理图像中的存在缺失的第一区域，以及待处理图像中的除所述第一区域之外的第二区域的特征；根据除当前第一区域之外的第二区域的特征，生成当前第一区域的边缘的特征，以便利用所述边缘的特征对当前第一区域进行填充；判断当前第一区域是否被全部填充；若当前第一区域未被全部填充，则确定待处理图像中当前存在缺失的区域以作为更新后的第一区域；重复执行根据除当前第一区域之外的第二区域的特征，生成当前第一区域的边缘的特征的步骤，直到当前第一区域被全部填充为止。

在一些实施例中，所述确定待处理图像中的存在缺失的第一区域，以及待处理图像中的除所述第一区域之外的第二区域的特征，包括：将所述待处理图像输入编码器，以便获取所述第二区域的特征，其中，对编码器的每一层输出进行区域敏感的动态归一化处理。

在一些实施例中，在当前第一区域被全部填充后，统计图像的每个位置的特征值以及每个位置的特征值生成次数；根据特征值和特征值生成次数生成每个位置的特征。

在一些实施例中，在当前第一区域被全部填充后，将图像特征第一区域和第二区域的特征发送给解码器，以便解码器生成图像，其中，对解码器的每一层输出进行动态归一化处理或区域敏感的动态归一化处理，所述图像特征包括第一区域和第二区域的特征。

在一些实施例中，根据除当前第一区域之外的第二区域的特征，生成当前第一区域的边缘的特征，包括：将图像特征和第一区域的掩码输入第一卷积层，以得到第一中间变量，其中，所述图像特征包括第一区域的特征和第二区域的特征；对第一中间变量进行区域敏感的动态归一化处理；将图像特征和第一区域的掩码输入第二卷积层，以得到第二中间变量，其中，所述图像特征包括第一区域的特征和第二区域的特征；对第二中间变量进行动态归一化处理。