[发明专利]基于混合神经网络的人脸图像补全方法

说明书

本发明涉及一种基于混合神经网络的人脸图像补全方法，该方法包括：收集大量图片；图片预处理；构造人脸全卷积神经网络；随机确定破损区域，将图片输入到人脸全卷积网络进行训练，得到生成图片；构造多个判别网络，将完整图片输入判别网络进行训练；进行人脸全卷积神经网络和多个判别网络的整体训练，通过定义判别网络的判断标准，使图片再次回到人脸全卷积神经网络中进行训练；将最后各个判别网络的输出连接起来，进行总体真假判断；将测试的图片放入人脸全卷积网络模型中即可输出完整图片。本方法可以解决现有技术中修补图片精度不高的问题。

技术领域

本发明涉及一种人脸图像修补的方法，尤其是一种基于混合神经网络的人脸图像补全方法。

背景技术

随着时代的发展,我们周围存在大量的图片，但是这些图片可能由于拍摄或者保存不当，存在着细节丢失和图像部分损毁等情况。但是目前进行图像修补的方案仅仅通过图像搜索、匹配、滤波等传统方法进行补全,补全效果不佳。

随着深度学习的发展，神经网络发挥着越来越重要的作用。全卷积神经网络能够自动进行特征提取与图像生成，但是单一的运用全卷积神经网络效果不好。

现有技术最大的问题是精度不高，对于图片的修复达不到满意的效果。很大程度上是方法不好，就算存在部分使用神经网络的图像修补，但因为方法单一效果也是不理想。

为了提升图像修复的精度，采用全卷积神经网络加上多个判别网络的办法，来进行图像的修补。

卷积神经网络本身（CNN）通过训练数据进行学习，在使用CNN时，避免了显式的特征抽取，而隐式地从训练数据中进行学习，可自动提取特征，有良好的特征提取能力。而本文采用的全卷积网络不仅有卷积神经网络的优点，更是克服了卷积网络的计算效率低下、像素块大小限制了感知区域的大小等缺点。

对于缺损的图片来说，它周围的像素很可能与缺损图片有关系，甚至是其中一部分，而缺损图片的周围像素尺寸不同，可以产生不同的优化效果。所以可以通过设置多个判别网络，优化全卷积网络的输出图片的效果。

发明内容

本发明在于克服现有技术对图像修补精度不高的问题，而提供了一种基于混合神经网络的人脸图像补全方法，该方法首先利用全卷积神经网络的本身固有优势，又设计增加多个外模型对修补图像的精度进行提高，因为对十万百万的图片量进行训练，使修复后的图片质量非常高。

本发明的技术方案是：一种基于混合神经网络的人脸图像补全方法，其步骤为：

（1）收集大量图片：通过专门的数据网站或搜索软件进行图片下载，并将下载的图片分为训练集和测试集，训练集为占95%，测试集5%；

（2）进行图片的预处理，获得适合在混合神经网络中进行处理的图片；

（3）构建人脸全卷积网络进行训练：图片中随机确定一小块区域，在这块区域构造一块白色区域，即为破损区域，将图片转化为数组送入到人脸全卷积网络中进行训练，在该网络中定义不同的卷积层、空洞卷积层和反卷积层，并在网络中定义损失值，通过各个层自己进行学习，不断调整权重参数，降低损失值，最后得到一个修复图；只取修复图修复破损区域的那一部分，将这部分和输入的破损图合成一张图，此时这张图成完整的并且除了修复区域都为原图；选取一块区域，这块区域在人脸全卷积网络中包含破损区域，即修复后包含修复完成后那块区域，这块区域最大为整张图片，最小为破损区域本身；

（4）在判别网络中进行训练：在判别网络中的图片都为完整原图，在步骤（3）中选取的局部区域在原图中用于构建局部判别器，判别器中由卷积层与全连接层组成，通过将局部区域输入到判别网络中进行训练，得到判别器用于联合训练提升图片精度；判别网络可以设置多个；