[发明专利]一种基于编码器结构的图像修复方法

说明书

本发明公开一种基于新编码器结构的图像修复方法，对于一幅有缺失像素的图像，训练一个由编码器和译码器组成的卷积神经网络来回归缺失的像素值。编码器捕捉图像上下文得到一个紧凑的特征表示，译码器使用这些表示产生缺失图像内容；Alexnet可提高运行速度、网络运行规模和性能；而Densenet可减轻最大梯度消失问题，加强特征利用，减少参数数量。本发明考虑结合两者的优点，将添加使用Densenet架构。相比于原始编码译码器使用的Alexnet网络架构，本发明能够提取更加紧凑和真实的特征，同时使用WGAN‑GP对抗性损失代替传统的GAN对抗损失，提高了特征学习的速度和精度，增强了修复效果。

技术领域

本发明属于图像处理技术，具体涉及一种基于编码器结构的图像修复方法。

背景技术

对于一幅被损坏的图像，尽管图像的中心部分缺失，我们大部分还是能根据它周围的像素轻易地想象出它的内容，而不必看它真实的场景。我们人类能够理解图片结构并做出视觉预测，即使只看见了场景的一部分。但是有些场景受个人经验的影响无法想象，并且手工修复工作量巨大且繁琐。如果运用深度学习，就能够自动的给图片填充缺失区域，可以极大地提高修复效率。

目前已有的图像修复方法有很多,其中基于深度学习方法的图像修复方法效果较为显著。现有方法大都是使用基于AlexNet的基础架构进行设计网络，进而进行特征提取，本发明使用基于Densenet和Alexnet网络构建生成网络，使用WGAN-GP的对抗损失进行训练。

发明内容

发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种基于编码器结构的图像修复方法，本发明加入DenseNet架构，将两者的优势结合，对图片特征做进一步的挖掘，减轻图像修复的复杂度。

技术方案：本发明的一种基于编码器结构的图像修复方法，先使用基于Densenet架构的编码网络对缺失图像进行特征压缩提取，再将提取的特征送入基于Alexnet架构的解码网络进行图像复原，具体包括以下步骤：

步骤一：训练集预处理，如果图像像素超出预计范围，就缩放或切割成预计尺寸(例如128*128)，并对训练图像进行归一化处理，转化为张量，得到若干个训练样本i_m×m；

步骤二：构建基于Densenet和Alexnet网络的生成网络；

步骤三：构建传统的基于Alexnet网络的判别网络；

步骤四：对图片切割产生真实缺失中心区域图片x和缺失图片x₀送入判别网络训练；

步骤五：使用WGAN-GP对抗性损失对步骤二和步骤三中的生成网络和判别网络进行联合训练；

步骤六：将测试图像送入步骤五中训练好的生成器，生成修复图像，计算均方误差MSE和峰值信噪比度量PSNR。

进一步的，所述步骤二中使用自编码器构造生成式网络的详细方法：

(2.1)生成式网络中的编码部分设置两个卷积层和三个全连接块结构层，前两层每一层的卷积核为a*a(a取正整数，例如如果是128×128的图片分辨率输入，则a＝4)，且使用lrelu激活函数，步长为d(针对128×128的图片分辨率输入，d＝2)；后三层紧跟的过渡层层使用的卷积核为a*a，且使用relu激活函数，步长为d；a和b均是正整数；

(2.2)生成式网络中的解码部分设置五层反卷积网络，反卷积核为a*a，步长为d；前四层使用relu激活函数，第四层使用tanh激活函数，反卷积的输出即为生成器的输出，即为待判别的中心缺失区域图片。