[发明专利]基于分区卷积和关联损失的双阶段图像补全方法及系统

说明书

本发明公开了一种基于分区卷积和关联损失的双阶段图像补全方法及系统。其中，该方法包括如下步骤：S1，对完整图片随机生成缺失区域构成缺失图片；S2，缺失图片经过第一阶段网络，采用分区卷积，生成初步的补全结果；对生成的初步的补全结果构建关联损失和一范数损失；S3，初步的补全结果经过第二阶段网络，采用普通卷积，生成细致的补全结果；对生成的细致的补全结果构建风格损失和一范数损失；S4，计算整体损失函数，迭代步骤S1～S3的训练，直至整体损失函数收敛，完成训练。本发明在保证模型泛化能力的同时，有效提升深度学习模型对于对抗样本噪音和自然噪音的鲁棒性，提高深度学习模型在实际场景中应用时的稳定性。

技术领域

本发明涉及一种基于分区卷积和关联损失的双阶段图像补全方法，同时涉及一种实现该方法的双阶段图像补全系统；属于计算机视觉技术领域。

背景技术

近年来，图像修复技术，即在缺失图像中填充视觉逼真和语义合理的内容，引起了人们的极大关注。它可以被广泛的应用于许多任务，如照片编辑、基于图像的渲染，计算摄影等。目前，已经有许多方法以不同的方式生成所需的内容，包括有手动提取特征的传统方法，和深度生成模型。

传统的方法可大致的被分成两种，基于传播以及基于区块填充的方法。前者通常使用微分算子进行建模，将背景区域的数据以一定的方式传播扩散到缺失区域之中。而后者通过使用原图像集合中的区块进行填充缺失区域，并且最大化填充区块与原区块的相似程度。这些方法在完成具有重复结构的图像补全工作有良好的效果，但是它们通常非常耗时，并且在非重复、复杂的图像中，它们不能够填补上有意义的信息。

深度神经网络和生成对抗网络的快速发展，极大地促进了图像补全的进展。语义编码方法(Context Encoders)首次利用了生成对抗网络来重建图片，使用的对通道信息敏感的全连接网络来将信息由编码层扩散到解码层。全局与局部连续法(Global andLocally Consistent)使用膨胀卷积，并且使用全局和局部的判别器来生成图片。语境关注法(Contextual Attention)利用双阶段网络，并且使用特征感知机对生成的图片进行进一步优化。为了进一步提高图像的质量，也有使用与训练的VGG网络来提取特征，来降低感知损失或者风格损失。最近，局部卷积(Partial Convolution)、门限卷积(GatedConvolution)还有边缘法(Edge Connect)更关注于使用不规则的缺失区域等，在高度结构化的图片中，能起到较好的效果。

尽管图像补全领域取得了一定的进展，但是大部分的方法仍然面临着不连续的问题。

发明内容

针对现有技术的不足，本发明所要解决的首要技术问题在于提供一种基于分区卷积和关联损失的双阶段图像补全方法。

本发明所要解决的另一技术问题在于提供一种基于分区卷积和关联损失的双阶段图像补全系统。

为实现上述发明目的，本发明采用下述的技术方案：

根据本发明实施例的第一方面，提供一种基于分区卷积和关联损失的双阶段图像补全方法，包括如下步骤：

S1，对完整图片随机生成缺失区域构成缺失图片；

S2，所述缺失图片经过第一阶段网络，采用分区卷积，生成初步的补全结果；对生成的初步的补全结果构建关联损失和一范数损失；

S3，初步的补全结果经过第二阶段网络，采用普通卷积，生成细致的补全结果；对生成的细致的补全结果构建风格损失和一范数损失；

S4，计算整体损失函数，迭代步骤S1～S3的训练，直至整体损失函数收敛，完成训练。

其中较优地，所述缺失图片经过第一阶段网络，采用分区卷积，生成初步的补全结果；对生成的初步的补全结果构建关联损失和一范数损失，包括如下步骤：

缺失图片通过第一阶段的编码器网络，并且通过四层膨胀卷积，得到图片特征；