[发明专利]一种基于目标优化的语义图像修复方法

说明书

本发明公开了一种基于目标优化的语义图像修复方法，该方法是以网络结构优化和修复过程优化为主要目标。在网络结构优化方面，通过移除Context‑Encoder中的通道连接层、添加并联空洞卷积层和设置符合人类感官层次的损失函数的方式，使整个网络在尽量捕获更多图像语义特征的同时保留其空间关系。在修复过程优化方面，通过图像语义分割网络捕获待修复图像中的特定目标，在利用泛化模型对整张图像进行修复的同时可以针对捕获到的目标进行修复优化操作，从而使修复结果具备更高的可靠性和准确性。本发明既保留了图像的空间信息，也针对特定的目标进行修复优化，进而有效地解决了常规修复方法中存在的语义混乱问题。

技术领域

本发明涉及数字图像处理的技术领域，尤其是指一种基于目标优化的语义图像修复方法。

背景技术

卷积神经网络是基于人工神经网络提出的。人工神经网络模拟人的神经系统，由一定数量的神经元构成。在一个监督学习问题中，有一组训练数据(x_i,y_i)，x是样本，y是类别标注，把它们输入人工神经网络，会得到一个非线性的分类超平面h_w,b(x)，通过这个超平面可以将输入的所有图像数据进行分类。

一个神经元是神经网络中的一个运算单元，它实质上就是一个函数。如图1所示，为一个神经元的示意图：

有3个输入x₁、x₂、x₃，+1是一个偏置值，输出f是激活函数，w为每个输入所占的比重，b为偏置值，这里的激活函数用的是sigmoid函数：

人工神经网络就是由多个上述的神经元组合成的，如图2所示，为一个小型的人工神经网络的示意图：

图中的卷积神经网络中，输入就是一幅幅的图像，权值w就是卷积模板，为不同神经元的权重，一般是卷积层和下采样层交替，最后是全连接的神经网络，也就是上述经典的人工神经网络。如图3所示，为一个简单的卷积神经网络示意图：

图中，卷积层对图像进行信息提取，池化层用于增大图像的感受野，全连接层将中间层映射为特定维度的输出。

Context-Encoder是神经网络的一种，它是最早的用于图像修复的深度学习网络，它的主要贡献在于将生成式对抗网络的对抗思想引入到图像修复领域。Context-Encoder的主要结构包含一个编码器和一个解码器。网络结构比较一致，从头到尾使用的都是卷积层。到目前为止，Context-Encoder仍然被很广泛地用于图像修复的研究。

Context-Encoder网络结构中通道连接层丢失了图像的空间信息，且无法针对图像中的特定目标进行单独修复，以上两个因素使得修复结果存在局部模糊的问题。针对以上问题，本发明提出一种更适用于图像修复的解决方案。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于目标优化的语义图像修复方法，能够针对图像中的特定目标进行优化的图像修复，可以有效解决普通修复算法在特定情况下的语义混乱问题。

为实现上述目的，本发明所提供的技术方案为：一种基于目标优化的语义图像修复方法，该方法是以网络结构优化和修复过程优化为主要目标，在网络结构优化方面，通过移除Context-Encoder中的通道连接层、添加并联空洞卷积层和设置符合人类感官层次的损失函数的方式，使整个网络在尽量捕获更多图像语义特征的同时保留其空间关系，在修复过程优化方面，通过图像语义分割网络捕获待修复图像中的特定目标，在利用泛化模型对整张图像进行修复的同时能够针对捕获到的目标进行修复优化操作，从而使修复结果具备更高的可靠性和准确性；其包括以下步骤：

1)通过线性插值对输入图像和掩膜进行预处理，使所有图像满足网络输入要求；

2)将输入图像与掩膜相结合，获得缺失图像；