[发明专利]基于多任务全卷积神经网络的人脸网纹污迹去除方法

权利要求书

1.一种基于多任务全卷积神经网络的人脸网纹污迹去除方法，其特征在于，包含以下步骤：

1)、利用公共人脸数据集CelebA的清晰人脸图像作为无网纹图像数据集，基于该无网纹图像数据，利用随机算法生成样式多样的网纹，通过通道融合，叠加到无网纹图像上，得到有网纹图像集，同时将对应的网纹二值化得到网纹二值mask图像，将三组数据对应的随机划分得到用于模型训练与评估的训练集与验证集；

2)、将网纹图像、无网纹图像、网纹二值mask图像成对地裁剪成若干个大小为N1xN1的图像块，N1为模型的输入大小，并将三类图像的图像块作为一组，存储为HDF5格式；

3)、运用引导滤波，获取人脸网纹图像的细节层信息作为模型输入；

4)、基于TensorFlow开源深度学习框架，设计全卷积神经网络，输出残差信息与二值mask网纹判别信息；

5)、利用成对的训练数据优化真实图像、网纹图像与残差信息的损失，以及预测网纹mask与真实网纹mask标签损失，训练模型；

6)、利用训练得到的模型参数，预测真实场景的测试图像，得到预测的去污图像；

所述步骤5)中，利用成对的训练数据优化真实图像、网纹图像与残差信息的损失，以及预测网纹mask与真实网纹mask标签损失，训练模型，具体包括：

(1)根据步骤2)的训练数据和验证数据以及步骤4)设计的全卷积神经网络，将数据逐个batch输入到全卷积神经网络模型；

(2)具体超参数设置如下：优化器使用Adam，batch size大小为20；训练过程中，初始学习率为0.1，在每一轮迭代完之后，学习率乘0.1，总共训练3轮，即：第一个轮，学习率为0.1，第二个轮学习率为0.01，第三个轮，学习率为0.001；

(3)训练优化的损失在于两个分支部分：真实图像输出分支与网纹判别分支，其中，真实图像输出分支，目标函数使用均方误差loss1；针对mask输出分支，使用交叉熵损失loss2，两者采用1:1的比例相加得到最后需要优化的损失函数loss，具体公式如：

其中，N为训练图片数量，f(·)为卷积神经网络，W,b为网络要学习的参数，除了两个分支上的权重不同以外，其余权重两个分支权重共享，X_i,detail表示为第i张图片的细节层，通过引导滤波所得；

模型的损失函数：

loss＝loss1+loss2。

2.根据权利要求1所述的基于多任务全卷积神经网络的人脸网纹污迹去除方法，其特征在于，所述步骤1)中，获取公开的人脸数据集CelebA，将其作为真实的无网纹图像集，基于该无网纹图像数据，制作用于模型训练与评估的训练集与验证集，具体包括：

采用随机算法生成具有若干宽度、若干透明度的网纹mask图像，通过通道融合进行叠加，制作网纹污染图像数据集；将网纹图像、真实图像、网纹mask图像分别保存于预先设定的文件夹下，并从三个文件夹下随机选择1500张匹配的图像对作为训练集，1000对作为验证集，构成算法所需要的数据集。

3.根据权利要求2所述的基于多任务全卷积神经网络的人脸网纹污迹去除方法，其特征在于，所述步骤2)中，N1＝64，对于训练集，每对图像随机截取500个64x64大小的图像块，将500组数据存储为一个HDF5文件，制作为模型输入的训练样本。