[发明专利]基于多任务全卷积神经网络的人脸网纹污迹去除方法

说明书

本发明请求保护一种基于多任务全卷积神经网络的人脸网纹污迹去除方法，具体步骤如下：步骤一，利用公共人脸数据集CelebA的清晰人脸图像作为无网纹图像数据集，制作训练集与验证集；步骤二，将网纹图像、真实图像、网纹二值mask图像均裁剪成大小为64x64的图像块；步骤三，运用引导滤波，获取人脸网纹图像的细节层信息作为模型输入；步骤四，设计全卷积神经网络，输出残差信息与二值mask网纹判别信息；步骤五，用成对的训练数据优化真实图像、网纹图像与残差信息的损失，以及预测网纹mask与真实网纹mask标签损失，训练模型；步骤六，利用训练得到的模型参数，预测真实场景的测试图像，得到预测的去污图像。本发明为人脸图像后续操作提供了高质量的图像。

技术领域

本发明属于卷积神经网络和图像污迹去除技术，尤其涉及基于卷积神经网络的多任务端到端的网纹类污迹去除方法。

背景技术

图像修复是目前图像算法领域的重要问题之一，图像修复的效果在某些场景下极大的影响着图像识别结果。图像修复包括图像补全、图像污迹去除、图像超分辨率等。对于图像污迹处理，存在的污迹可能会影响整幅图像所代表的语义或者干扰图像局部存在的目标，那么，就需要对图像进行污迹去除，以确保之后的识别或者检测具有更高的准确性。

随着2012年卷积神经网络的兴起，CNN再次掀起了深度学习和人工智能的浪潮。目前图像修复的主流研究方向仍然采用深度学习方法。比较经典的算法包括：图像超分辨率方法SRCNN及基于此改进的FSRCNN、ESPCN等，图像着色方法Colorization，缺失补全方法context-encoder等。污迹去除的难点在于去除过程中随之而来的模糊性以及强污迹的难处理性。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种能够有效地去除网纹污迹，还原真实图像，针对各类场景都有很好的鲁棒性的基于多任务全卷积神经网络的人脸网纹污迹去除方法。本发明的技术方案如下：

一种基于多任务全卷积神经网络的人脸网纹污迹去除方法，其包含以下步骤：

1)、利用公共人脸数据集CelebA的清晰人脸图像作为无网纹图像数据集，基于该无网纹图像数据，利用随机算法生成样式多样的网纹，通过通道融合，叠加到无网纹图像上，得到有网纹图像集，同时将对应的网纹二值化得到网纹二值mask图像，将三组数据对应的随机划分得到用于模型训练与评估的训练集与验证集；

2)、将网纹图像、无网纹图像、网纹二值mask图像成对地裁剪成若干个大小为N1xN1的图像块，N1为模型的输入大小，并将三类图像的图像块作为一组，存储为HDF5格式；

3)、运用引导滤波，获取人脸网纹图像的细节层信息作为模型输入；

4)、基于TensorFlow开源深度学习框架，设计全卷积神经网络，输出残差信息与二值mask网纹判别信息；

5)、利用成对的训练数据优化真实图像、网纹图像与残差信息的损失，以及预测网纹mask与真实网纹mask标签损失，训练模型；

6)、利用训练得到的模型参数，预测真实场景的测试图像，得到预测的去污图像。

进一步的，所述步骤1)中，获取公开的人脸数据集CelebA，将其作为真实的无网纹图像集，基于该无网纹图像数据，制作用于模型训练与评估的训练集与验证集，具体包括:：

采用随机算法生成具有若干宽度、若干透明度的网纹mask图像，通过通道融合进行叠加，制作网纹污染图像数据集；将网纹图像、真实图像、网纹mask图像分别保存于预先设定的文件夹下，并从三个文件夹下随机选择1500张匹配的图像对作为训练集，1000对作为验证集，构成算法所需要的数据集。

进一步的，所述步骤2)中，N1＝64，对于训练集，每对图像随机截取500个64x64大小的图像块，将500组数据存储为一个HDF5文件，制作为模型输入的训练样本。