[发明专利]基于自适应边缘增强的人脸解析方法、装置及存储介质

说明书

本发明公开了一种基于自适应边缘增强的人脸解析方法、装置及存储介质，其包括以下步骤：构建轻量级的深度卷积神经网络；神经网络包括编码器、自适应边缘增强模块和解码器；编码器对输入的人脸图像进行编码，获得具有分割特征的人脸特征图；自适应边缘增强模块提取人脸特征图对应的边缘特征，得到具有边缘特征的人脸分割图；解码器通过add操作将分割特征与边缘特征进行融合得到带有自适应边缘特征的分割特征，从而能够提升分割边缘的精细度；同时，采用轻量化的模型能够让人脸解析在移动端进行实时检测，从而提升用户在上妆等场景下的体验感。

技术领域

本发明涉及人脸识别技术领域，特别是一种基于自适应边缘增强的人脸解析方法及其应用该方法的装置及计算机可读存储介质。

背景技术

人脸解析(Face Parsing)是一种自动标识每个像素所属脸部区域的算法，人脸区域一般分为头发、眼睛、鼻子和嘴巴等。相较于人脸关键点检测，人脸解析能够提供像素级的分类结果，有助于精细化应用的需求，如人脸区域遮挡判定，人脸五官抠图等。人脸区域遮挡判定常用于提升虚拟上妆的真实性，因此，人脸解析算法的高效性和精细度至关重要。

随着深度学习的不断发展，人脸解析的优化算法不断涌现。Pin Luo[1] 等人提出将人脸图像分区块进行预测来提升分割准确度。Jinpeng Lin[2]等人提出一种新的人脸裁图(face warp)方式，使模型通过更多的背景信息来提升分割精度。Yifu Chen[3]等人在语义分割任务上提出基于边缘损失(edge aware loss)的方法来提升整体的分割效果，但是该方法只将边缘网络作为多任务来训练，未将分割特征结合到边缘特征中，从而极大地影响分割精度。

[1]Ping Luo,Xiaogang Wang,Xiaoou Tang,Hierarchical face parsing viadeep learning,CVPR,2012.

[2]Jinpeng Lin and Hao Yang and Dong Chen and Ming Zeng and Fang Wenand Lu Yuan,Face Parsing with RoI Tanh-Warping,arXiv,2019.

[3]Yifu Chen,Arnaud Dapogny,Matthieu Cord,SEMEDA:EnhancingSegmentation Precision with Semantic Edge Aware Loss,arXiv,2019.

发明内容

本发明的主要目的在于提供了一种基于自适应边缘增强的人脸解析方法、装置及存储介质，旨在提高人脸分割精度。

为实现上述目的，本发明提供了一种基于自适应边缘增强的人脸解析方法，其包括以下步骤：

构建轻量级的深度卷积神经网络；所述神经网络包括编码器、自适应边缘增强模块和解码器；

所述编码器对输入的人脸图像进行编码，获得具有分割特征的人脸特征图；

所述自适应边缘增强模块提取所述人脸特征图对应的边缘特征，得到具有所述边缘特征的人脸分割图；所述边缘特征包括人脸五官边界、五官遮挡物边界和不同物体类型之间的边界；

所述解码器通过add操作将所述分割特征与所述边缘特征进行融合，得到带有自适应边缘特征的分割特征。

优选的，所述编码器由一个4x4s4的卷积层和一个以上的深度可分离卷积层堆叠而成；所述4x4的卷积层用于对输入图像进行下采样处理，并连接一个批量归一化层；所述深度可分离卷积层包括一个以上的残差块；每个残差块至少包括一个3x3的卷积层和一个1x1的卷积层，所述3x3的卷积层连接一个批量归一化层和一个参数化修正线性单元层，所述1x1的卷积层连接一个批量归一化层和一个参数化修正线性单元层。