[发明专利]图像补全模型初始化方法、训练方法和图像补全方法

权利要求书

1.一种对用于图像补全的卷积神经网络模型进行初始化的方法，所述方法包括：

将所述卷积神经网络中的特征提取层的卷积核设置成包括与待补全图像相对应的卷积核第一部分和与所述待补全图像关联掩膜相对应的卷积核第二部分，所述卷积核第一部分用于对所述待补全图像进行特征提取以生成图像特征，所述卷积核第二部分用于对所述掩膜进行特征提取以生成掩膜特征；

对所述卷积核第一部分中的各个元素进行随机初始化，和

将所述卷积核第二部分中的元素中的每一个分别设置为相应初始值，

其中，所述待补全图像包括缺失区域，所述掩膜包括与所述待补全图像的缺失区域相同的缺失区域；和

其中，所述初始值被设置成使得所述掩膜特征中对应于所述缺失区域的各个元素都不小于预定最大值或不大于预定最小值，所述预定最大值或预定最小值的绝对值不小于所述图像特征中各个元素的绝对值的最大值。

2.根据权利要求1所述的方法，其中所述对所述卷积核第一部分中的各个元素进行随机初始化包括：

对所述卷积核第一部分中的各个元素进行高斯分布初始化或对所述卷积核第一部分中的各个元素进行均匀分布初始化。

3.根据权利要求1所述的方法，其中所述掩膜基于所述待补全图像确定，所述掩膜经受二值化处理，所述掩膜中与所述掩膜非缺失区域对应的值被赋值为第一值，以及与所述缺失区域对应的值被赋值为第二值。

4.根据权利要求1-3中任一项所述的方法，其中所述将所述卷积核第二部分中的元素中的每一个分别设置为相应初始值包括：

将初始值被设置为大于预定最大值或小于预定最小值，所述预定最大值或预定最小值的绝对值大于预定阈值，所述预定阈值为下列之一：所述卷积核第一部分中的各个元素的绝对值的最大值的1倍，2倍，5倍，10倍，100倍，1000倍，或10000倍。

5.一种对用于图像补全的卷积神经网络模型进行训练的方法，所述方法包括：

将所述卷积神经网络中的特征提取层的卷积核设置成包括与待补全图像相对应的卷积核第一部分和与所述待补全图像关联掩膜相对应的卷积核第二部分，所述卷积核第一部分用于对所述待补全图像进行特征提取以生成图像特征，所述卷积核第二部分用于对所述掩膜进行特征提取以生成掩膜特征；

对所述卷积核第一部分中的各个元素进行随机初始化，和

将所述卷积核第二部分中的元素中的每一个分别设置为相应初始值，

接收训练数据集，所述训练数据集包括与待补全图像对应的原始图像以及样本对，所述样本对包括待补全图像和待补全图像关联掩膜；和

基于所述原始图像和所述样本对来对所述卷积神经网络模型进行训练；

其中，所述待补全图像包括缺失区域，所述掩膜包括与所述待补全图像的缺失区域相同的缺失区域；和

其中，所述初始值被设置成使得所述掩膜特征中对应于所述缺失区域的各个元素都不小于预定最大值或不大于预定最小值，所述预定最大值或预定最小值的绝对值不小于所述图像特征中各个元素的绝对值的最大值。

6.根据权利要求5所述的方法，其中所述对所述卷积核第一部分中的各个元素进行随机初始化包括：

对所述卷积核第一部分中的各个元素进行高斯分布初始化或对所述卷积核第一部分中的各个元素进行均匀分布初始化。

7.根据权利要求5所述的方法，其中所述掩膜基于所述待补全图像确定，所述掩膜经受二值化处理，所述掩膜中与所述掩膜非缺失区域对应的值被赋值为第一值，以及与所述缺失区域对应的值被赋值为第二值。

8.根据权利要求5所述的方法，其中所述基于所述原始图像和所述样本对来对所述卷积神经网络模型进行训练包括：

对所述待补全图像和所述掩膜进行特征提取，以得到图像特征和掩膜特征；

基于所述图像特征和所述掩膜特征确定合成图像；和

对所述合成图像进行非线性变换得到变换合成图像，

其中，所述变换合成图像中与所述缺失区域对应的区域的像素值为0。