[发明专利]改进的语义图像修补模型方法

权利要求书

1.一种改进的语义图像修补模型方法，其特征在于，包括：

通过图像内容生成的处理，对绘画图像进行缺失部分的修补；

通过画作鉴别的处理，对所述修补图像的效果进行判别；

通过风格生成的处理，对所述修补图像的风格、纹理、颜色方面进行调整；以实现对图像的修补。

2.如权利要求1所述的方法，其中，图像内容生成，包括如下步骤：

1)选取补全内容的生成模型：

基于当前修补图像的需求，根据当前补全内容生成模型的两类方法生成式对抗网络GANs和变分自编码器VAEs的特点，选择其中一个模型建立图像内容生成模型。

3.如权利要求2所述的方法，其中，图像内容生成，包括如下步骤：

2)训练内容生成模型：

当选择GANs模型生成图像内容时，生成网络G_x采用深度卷积对抗生成网络DCGAN，鉴别网络D_x采用传统的卷积神经网络，通过训练好的生成模型G_x获得修复后的图像编码定义标准内容损失捕获未损坏图像区域的可用信息特征，生成器G_x找到最优化的编码时，再通过鉴别器D_x对进行鉴别。

4.如权利要求3所述的方法，其中，图像风格生成，包括：

使用19层的可视几何组VGG卷积神经网络，建立风格生成模型，使用平均池化层代替最大池化层；

将修补图像的内容与自然风格分离后再合并，通过卷积神经网络提取原始图像的内容信息与风格图像的纹理信息，并将其融合在生成图像中，通过后向传播BP算法降低损失函数，求得最终生成图像。

5.如权利要求3或4所述的方法，其中，步骤2)包括：

生成模型G_x寻找最优的编码的过程被定义为表示为式1：

L_c是损失函数，z为生成器G_x从P_z中获取的一个标准分布点，P_z表示一个从[-1,1]的均匀分布，y是损坏的图像，M是与图像大小相等的二进制掩码，用来指定缺失的部分。

6.如权利要求3或4所述的方法，其中，步骤2)包括：

内容损失捕获未损坏图像区域可用信息特征的过程使用式2表示：

其中，i代表图像中像素的位置索引，其中i∈D，D为图像的像素点集合，D∈N^*，N^*代表正整数，w_i代表在位置i处的权重值，N_(i)是在本地区域位置i处的邻居集合，|N_(i)|是N_(i)的基数，本地区域的大小为8，j是属于N_(i)内的像素点，j∈N^*，M_j代表j处的二进制掩码，M_i代表i处的二进制掩码。

7.如权利要求3或4所述的方法，其特征在于，步骤2)包括：

内容损失被定义为修复图像和未损坏部分图像之间的加权-norm difference，定义为式3：

L_c(z|y，M)＝||w⊙(G_(z)-y||₁ (式3)

当生成器G_x找到最优化的编码时，再通过鉴别器D_x对进行鉴别，直到真样本与假样本无法区分，使用自适应矩估计优化Adam算法进行此阶段的优化，通过使用随机水平翻转训练图像来实现数据增强，w代表权重，G_(z)代表以y为输入，以z为输出的生成器G_x生成的修补图像信息。