[发明专利]图像补全模型初始化方法、训练方法和图像补全方法

说明书

公开了对用于图像补全的卷积神经网络模型进行初始化和/或训练的方法、图像补全方法、用于图像补全的卷积神经网络模型初始化装置和计算机可读存储介质。该初始化方法包括：将卷积神经网络中的特征提取层的卷积核设置成包括与待补全图像相对应的卷积核第一部分和与待补全图像关联掩膜相对应的卷积核第二部分。卷积核第一部分用于对待补全图像进行特征提取以生成图像特征，卷积核第二部分用于对掩膜进行特征提取以生成掩膜特征。对卷积核第一部分中的各个元素进行随机初始化，和将卷积核第二部分中的元素中的每一个分别设置为相应初始值。

技术领域

本发明涉及图像处理技术领域，并且特别地涉及对用于图像补全的卷积神经网络模型初始化方法、对用于图像补全的卷积神经网络模型进行训练的方法、图像补全方法、用于图像补全的卷积神经网络模型初始化装置、计算设备和计算机可读存储介质。

背景技术

图像处理是计算机视觉领域的一个分支。图像补全是图像处理领域的热点问题之一。图像补全可以用于弥补缺失的区域或者移除不期望的区域，在动态图像和静态图像的场景中有着广泛的应用，例如，用于获得超高分辨率、用于修复破损的照片、用于去除视频或图像中的水印，甚至可以用于在人脸部分遮挡的情况下的人脸识别等。如何获得拥有下列优点中的至少一个的图像补全方法是亟待解决的技术问题：补全效果接近原始内容，方法简单耗费计算资源少，适用范围广，运行速度快，以及出错率低等。

发明内容

本公开提供了一种可以缓解、减轻或甚至消除上述问题中的一个或多个的对用于图像补全的卷积神经网络模型初始化方法、对用于图像补全的卷积神经网络模型进行训练的方法、图像补全方法、用于图像补全的卷积神经网络模型初始化装置、计算设备和计算机可读存储介质。

根据本发明的一个方面，提供了一种对用于图像补全的卷积神经网络模型进行初始化的方法。该方法包括：将卷积神经网络中的特征提取层的卷积核设置成包括与待补全图像相对应的卷积核第一部分和与待补全图像关联掩膜相对应的卷积核第二部分，卷积核第一部分用于对待补全图像进行特征提取以生成图像特征，卷积核第二部分用于对掩膜进行特征提取以生成掩膜特征；对卷积核第一部分中的各个元素进行随机初始化，和将卷积核第二部分中的元素中的每一个分别设置为相应初始值。其中，待补全图像包括缺失区域，掩膜包括与待补全图像的缺失区域相同的缺失区域；和其中，初始值被设置成使得掩膜特征中对应于缺失区域的各个元素都不小于预定最大值或不大于预定最小值，预定最大值或预定最小值的绝对值不小于图像特征中各个元素的绝对值的最大值。

在一些实施例中，对卷积核第一部分中的各个元素进行随机初始化包括：对卷积核第一部分中的各个元素进行高斯分布初始化或对卷积核第一部分中的各个元素进行均匀分布初始化。

在一些实施例中，掩膜基于待补全图像确定，掩膜经受二值化处理，掩膜中与掩膜非缺失区域对应的值被赋值为第一值，以及与缺失区域对应的值被赋值为第二值。

在一些实施例中，将卷积核第二部分中的元素中的每一个分别设置为相应初始值包括：将初始值被设置为大于预定最大值或小于预定最小值，预定最大值或预定最小值的绝对值大于预定阈值，预定阈值为下列之一：卷积核第一部分中的各个元素的绝对值的最大值的1倍，2倍，5倍，10倍，100倍，1000倍，或10000倍。