[发明专利]一种基于目标优化的语义图像修复方法

权利要求书

1.一种基于目标优化的语义图像修复方法，其特征在于：该方法是以网络结构优化和修复过程优化为主要目标，在网络结构优化方面，通过移除Context-Encoder中的通道连接层、添加并联空洞卷积层和设置符合人类感官层次的损失函数的方式，使整个网络在尽量捕获更多图像语义特征的同时保留其空间关系，在修复过程优化方面，通过图像语义分割网络捕获待修复图像中的特定目标，在利用泛化模型对整张图像进行修复的同时能够针对捕获到的目标进行修复优化操作，从而使修复结果具备更高的可靠性和准确性；其包括以下步骤：

1)通过线性插值对输入图像和掩膜进行预处理，使所有图像满足网络输入要求；

2)将输入图像与掩膜相结合，获得缺失图像；

3)对缺失图像进行第一次修复操作，获取修复结果；其中，第一次修复操作通过改进的Context-Encoder结构进行，改进的具体方式是：将编码器中间三层普通卷积操作改为并联空洞卷积，并联空洞卷积设置不同的步长，能够捕获到不同层次的语义特征；

4)利用语义分割网络对第一次修复结果进行修复，获取图像中的特定目标；其中，特定目标获取操作通过语义分割网络DeepLabV2进行，分割结果包含图像中不同目标所在的位置及区域，目标的设定需要在模型训练的时候进行指定；

5)分离图像中的特定目标，使用特定网络进行修复，获取第二次修复结果；其中，分离操作通过像素点级的切割进行，修复操作通过使用改进的Context-Encoder结构进行，模型训练过程中使用的数据集为与特定目标对应的同类数据集；其中，改进的Context-Encoder结构的具体方式是：将编码器中间三层普通卷积操作改为并联空洞卷积，并联空洞卷积设置不同的步长，能够捕获到不同层次的语义特征；

6)将第一次修复结果和第二次修复结果在目标区域的位置进行融合，得到最终修复结果；其中，融合操作具体实现方式是利用特定目标修复结果替换整幅图像修复结果对应位置的内容。

2.根据权利要求1所述的一种基于目标优化的语义图像修复方法，其特征在于：在步骤1)中，利用线性插值将任意大小的RGB图像调整为256×256大小的图像，其核心思想是在两个方向上分别进行一次线性插值，线性插值操作流程及公式如下：

已知图像矩阵数据上存在四个点(x₀,y₀)、(x₀,y₁)、(x₁,y₀)、(x₁,y₁),f(x₀,y₀)、f(x₀,y₁)、f(x₁,y₀)、f(x₁,y₁)分别为四个点对应的值；

对横坐标为x₀的y轴方向进行线性插值的计算公式如下：

式中，Z₁表示计算结果，v表示计算插值结果的点离坐标(x₀,y₀)的y轴方向距离；

对横坐标为x₁的y轴方向进行线性插值的计算公式如下：

式中，Z₂为计算结果，v表示计算插值结果的点离坐标(x₁,y₀)的y轴方向的距离；

对x轴方向进行线性插值的计算公式如下：

式中，Z为最终的插值结果，u表示计算差值结果的点离x₀的x轴方向的距离。

3.根据权利要求1所述的一种基于目标优化的语义图像修复方法，其特征在于：在步骤2)中，图像与掩膜相结合的实施方式为像素级操作，对于与掩膜中黑色区域对应的图像位置，保留其像素值；对于与掩膜中白色区域对应的位置，使用图像像素平均值进行填充。