[发明专利]一种蒙面人脸遮挡物分割方法与装置

说明书

本发明公开了一种蒙面人脸遮挡物分割方法与装置。本方法为：1)利用训练数据集训练一蒙面人脸分割网络；其中训练数据集中每对图像包括一张蒙面遮挡的人脸图像及对应的蒙面人脸的语义分割图像；2)蒙面人脸分割模型获取每对输入图像中的蒙面人脸；然后对蒙面人脸进行深度可分离卷积操作获得该蒙面人脸的特征地图；然后从该特征地图提取不同尺度特征并对其进行融合，得到全局特征地图；然后对该全局特征地图进行逐像素预测，得到预测分割图；然后根据该预测分割图与对应的语义分割图像计算得到损失值，利用损失值监督训练该蒙面人脸分割网络；3)利用步骤2)训练后的蒙面人脸分割网络对待处理图像进行分割，得到该待处理图像的预测分割图。

技术领域

本发明属于计算机视觉和深度学习领域，尤其涉及一种针对遮挡条件下的蒙面人脸的遮挡物分割方法及装置。

背景技术

尽管当前以深度学习为代表的人脸识别模型已经在无遮挡情况下取得了很高的识别精度，但是这些模型在识别遮挡人脸的时候，性能往往会急剧下降。其原因首先在于，相较于无遮挡人脸检测，蒙面人脸检测由于部分面部结构被遮挡导而致面部关键信息严重丢失，这大幅降低了人脸检测器的鲁棒性，将检测图像中蒙面人脸的任务难度急剧提升；其次现有的大型蒙面人脸数据库很少，在大型数据库中训练出来的模型不包括被遮挡的面孔，当训练集中高置信度的区分区域被遮挡时，模型在蒙面人脸上的表现会出现退化。

基于这一事实，人们提出了蒙面人脸检测与识别方法：通过采用稀疏表达、卷积神经网络、深度学习方法等构造的特征提取器直接从部分人脸内容中表达遮挡人脸，或者对深度网络的滤波器支持度进行约束，这些方法目标均是使提取的人脸特征能够对遮挡鲁棒。虽然这类解决方案可以在蒙面人脸图像上恢复一定的性能，但深度模型对非蒙面人脸图像的判别能力受到影响。本质上，遮挡图像和非遮挡图像在嵌入特征空间中的分布不匹配没有得到适当的处理。而蒙面人脸图像中遮挡物的掩码是减小分布失真、提高遮挡鲁棒性的关键思想，正确分割蒙面人脸的遮挡物可以在特征提取中排除可能导致错误响应的像素，获得更合理的嵌入特征空间。显然，若想推动蒙面人脸检测与识别技术的发展，精准分割蒙面人脸的遮挡物的语义分割问题亟待解决。

语义分割方法可分为传统方法和深度学习的方法，其中传统的语义分割方法主要包括纹理基元森林(Texton Forest)和随机森林(Random Forest)等；深度学习方法引入后，不仅简化了语义分割的过程，且分割精度远超过传统方法。现代语义分割算法主要的深度神经网络体系结构包括卷积神经网络(CNNs)、循环神经网络(RNNs)和长短期记忆(LSTM)、编码器-解码器和生成对抗网络(GANs)等。CNN是其中最成功、应用最广泛的架构之一，著名的CNN架构包括AlexNet、VGGNet、ResNet和MobileNet等。但是目前的语义分割都是在coco，ImageNet 等数据集上训练的，没有对人脸进行分割，尤其是针对蒙面人脸的语义分割，因此蒙面人脸检测依然是目前人脸检测的一个技术难题。

发明内容

为提高蒙面人脸的识别效率，本发明提供了一种蒙面人脸遮挡物的分割方法及装置，该方法采用编码器-解码器架构并结合CNN架构，不同于单一的语义分割算法训练，本发明的网络通过蒙面人脸检测器实现对蒙面人脸图像的裁剪和分割，通过基于卷积的编码器和基于卷积的解码器实现了蒙面人脸遮挡物的精确分割。

为解决上述技术问题，本发明通过以下技术方案来实现。

一种蒙面人脸遮挡物分割方法，其步骤包括：

1)利用训练数据集训练一蒙面人脸分割网络；其中所述训练数据集包括多个蒙面人脸图像对；每对图像包括一张蒙面遮挡的人脸图像及对应的蒙面人脸的语义分割图像；

2)所述蒙面人脸分割模型获取每对输入图像中的蒙面人脸；然后对蒙面人脸进行深度可分离卷积操作获得该蒙面人脸的特征地图；然后从该蒙面人脸的特征地图提取不同尺度特征并对其进行融合，得到该蒙面人脸的全局特征地图；然后对该全局特征地图进行逐像素预测，得到预测分割图；然后根据该预测分割图与对应的语义分割图像计算得到损失值，利用损失值监督训练该蒙面人脸分割网络；