[发明专利]一种基于深度学习的人脸图像去遮挡方法

权利要求书

1.一种基于深度学习的人脸图像去遮挡方法，其特征在于，包括以下步骤：

(1)自动对原始图片添加特定样式与分布的遮挡，模拟真实遮挡分布，制作训练数据集并对输入数据进行预处理；

具体的预处理步骤包括但不限于将输入图像进行归一化、尺度缩放、数据增广；并且通过批处理操作将图片像素值进行归一化，便于后续计算与网络收敛；

(2)设计基于全卷积网络的神经子网络N1学习遮挡的分布与深浅；

其中，网络的前端部分较浅的神经网络的层通过对原始输入图片以级联卷积的方式计算得到的特征图，特征图分布反应了图像的基础信息，不同的卷积核提取出不同的特征图，并将边缘信息作为后续网络的输入；

(3)设计神经子网络N2对遮挡图像进行自动修复与平滑；

(3.1)深度神经网络N2采用与深度神经网络N1相同的前半部，实现参数共享，N2的核心思想是提取N1的末端的输入特征图，经过N1阶段的学习后，此时的特征图已比较接近遮挡分布，将该特征图和原始遮挡图片叠加，将叠加值作为初始修复状态；

(3.2)获取初始修复状态后，神经子网络N2的后半部采用不带下采样操作的卷积单元，包括但不局限于两层或者多层的卷积层，多个卷积核以滑动窗口的形式在步骤(3.1)得到的初始叠加值上计算新的特征图，输出以无遮挡的真值图像进行约束；

(3.3)然后采用欧式损失进行有监督约束，训练采用的算法是BackPropagation反向回传算法，通过回传的损失层误差来更新每一层的参数，使得网络参得到更新，最终得到收敛；

(4)迭代训练子网络N1，N2，进行多任务学习；

(4.1)首先完成遮挡的检测任务，任务的主要实施部分为网络结构N1，输入数据是有遮挡的原始图像，标签是已知的遮挡的分布图，目标是在N1结构的末端在测试阶段自动学习出遮挡的分布，使得神经网络N1收敛到良好状态；

(4.2)然后完成图像修复任务，任务的主要实施部分为网络结构N2，输入数据是有遮挡的原始图像，标签是未遮挡的真值图像，目标是在N2结构的末端在测试阶段自动学习出修复遮挡之后的图像，并通过图像级别像素值的回归，进一步减小学习率，促进网络收敛的步骤，使得网络自动检测出遮挡并输出修复后的与原图大小相同的图像。

2.根据权利要求1所述的基于深度学习的人脸图像去遮挡方法，其特征在于：所述步骤(2)中，在深度神经网络结构N1中，分为前后两个部分，前部分基于卷积神经网络结构单元，包括但不限于卷积操作，非线性映射，下采样池化；再选取小尺度的卷积核，将其分为五个卷积单元层，其中前两个卷积单元采用最大值池化方法进行下采样，快速降低特征图的大小，后三个卷积单元为串联的卷积层，并且卷积核数目加倍，可增强网络的学习能力；后部分基于反卷积神经网络结构单元，包括但不限于反卷积操作，非线性映射。

3.根据权利要求2所述的基于深度学习的人脸图像去遮挡方法，其特征在于：所述反卷积操作中，反卷积核的参数为网络优化学习而得，并且采用串联的小步长上采样代替大步长采样，对边缘的预测结果更为有效。

4.根据权利要求1所述的基于深度学习的人脸图像去遮挡方法，其特征在于：所述步骤(2)中，深度神经网络结构N1的末端输出采用非线性映射将最后一层的输出映射到[0,1]之间，采用欧式损失进行有监督约束，能够同时预测遮挡的位置和深浅；训练采用的算法是BackPropagation反向回传算法，通过回传的损失层误差来更新每一层的参数，使得网络参得到更新，最终得到收敛。