[发明专利]基于分区卷积和关联损失的双阶段图像补全方法及系统

权利要求书

1.一种基于分区卷积和关联损失的双阶段图像补全方法，其特征在于包括如下步骤：

S1，对完整图片随机生成缺失区域构成缺失图片；

S2，所述缺失图片经过第一阶段网络，采用分区卷积，生成初步的补全结果；对生成的初步的补全结果构建关联损失和一范数损失；

S3，初步的补全结果经过第二阶段网络，采用普通卷积，生成细致的补全结果；对生成的细致的补全结果构建风格损失和一范数损失；

S4，计算整体损失函数，迭代步骤S1～S3的训练，直至整体损失函数收敛，完成训练，

其中，在步骤S2中，

分区卷积采用如下计算公式:

其中,W,分别表示已知区域和未知区域的卷积核权重，b,是对应的偏移量，x是特征图X中当前卷积窗口滑动到的特征；x'是分区卷积操作之后x对应的当前卷积窗口滑动到的特征；

构建关联损失采用如下公式：

其中，σ表示正规化因子，I_c⁽¹⁾表示为组合图片，I_g表示真实图片，f_ij(I_c⁽¹⁾)为关系矩阵，f_ij(I_c⁽¹⁾)＝(ψⁱ(I_c⁽¹⁾))^T(ψ^j(I_c⁽¹⁾))；f_ij(I_c⁽¹⁾)表示提取出来的特征矩阵的第i行，第j列的元素，ψⁱ(I_c⁽¹⁾)表示为变形的特征图中的第i行，ψ^j(I_c⁽¹⁾)表示为变形的特征图中的第j行。

2.如权利要求1所述的基于分区卷积和关联损失的双阶段图像补全方法，其特征在于所述缺失图片经过第一阶段网络，采用分区卷积，生成初步的补全结果；对生成的初步的补全结果构建关联损失和一范数损失，包括如下步骤：

缺失图片通过第一阶段的编码器网络，并且通过四层膨胀卷积，得到图片特征；

图片特征经过第一阶段的解码器网络，并使用分区卷积，得到第一阶段初步的补全结果；

对生成的结果构建关系矩阵，并构建关联损失和一范数损失。

3.如权利要求1所述的基于分区卷积和关联损失的双阶段图像补全方法，其特征在于：

在卷积的过程中，卷积的窗口将在特征图上滑动，当窗口所对应的位置属于已知区域时，采用已知区域所对应的卷积核权重和偏移量进行计算，当窗口所对应的位置属于未知区域时，采用未知区域所对应的卷积核权重和偏移量进行计算。

4.如权利要求1所述的基于分区卷积和关联损失的双阶段图像补全方法，其特征在于构建一范数损失采用如下公式：

L_r1＝||I_p⁽¹⁾-I_g||₁；

其中，I_p⁽¹⁾,I_g分别表示为第一阶段输出的初步的补全结果和真实图片。

5.如权利要求1所述的基于分区卷积和关联损失的双阶段图像补全方法，其特征在于初步的补全结果经过第二阶段网络，采用普通卷积，生成细致的补全结果，对生成的细致的补全结果构建风格损失和一范数损失，包括如下步骤：

第一阶段的初步的补全结果通过第二阶段的编码器网络，并且通过四层膨胀卷积，得到第二图片特征；

第二图片特征经过第二阶段的解码器网络，生成细致的补全结果；

对生成的细致的补全结果构建风格损失和一范数损失。