[发明专利]一种基于3D人脸的面部稠密关键点检测算法

说明书

本发明公开了一种基于3D人脸的面部稠密关键点检测算法，包括如下步骤：S1、特征提取，将图片中的有效信息通过卷积神经网络编码器进行提取，编码器由1个卷积层和10个残差块组成，经过5次下采样即可将低维特征压缩至高维特征；S2、三维信息生成，通过使用在反卷积网络译码器由17个反卷积层，经过5次上采样即可将S1中压缩的高维特征生成三维人脸信息；S3、关键点提取，将S2中生成的三维人脸信息云子集在2D图像上进行投影，通过投影变换，将三维点云信息投影至2D图像上，取出其中的子集，即得到需要检测的人脸关键点。该种基于3D人脸的面部稠密关键点检测算法，支持68个关键点检测，对各种面部姿态场景鲁棒性强。

技术领域

本发明涉及人脸检测技术领域，具体为一种基于3D人脸的面部稠密关键点检测算法。

背景技术

人脸关键点是指面部具有显著语义信息的点集合。通过计算机算法技术检测出图像中的关键点，称为人脸关键点检测。该技术可应用于动画人脸合成，面部校验，表情识别等领域。因此，近年该领域的研究成果不断涌现。人脸关键点检测有很长的研究历史。按照时间线来划分，可分为传统方法和深度学习方法。近年来，基于深度学习的人脸关键点检测算法已经成为主流，其检测精度已经远远高于传统方法。

目前基于深度学习的人脸关键点检测算法逐渐成为研究热点，检测精度也不断在提升。在实际应用中，人脸分布存在多样性，对于算法来说具有巨大考验。目前算法大多基于回归算法，对于稠密关键点和多姿态人脸的关键点检测存在一定的缺陷。

稠密关键点检测，基于回归的关键点检测算法能检测的关键点数量有限。其中，具有代表性的如MTCNN和Retinaface仅提供5个面部关键点，应用范围有限。

多姿态人脸关键点检测，在正脸和小角度姿态侧脸上，目前的检测算法效果十分突出。一旦出现大姿态侧脸，不可见关键点增多，算法精度急剧下降。

发明内容

为了解决上述技术问题，本发明提供了如下的技术方案：

本发明一种基于3D人脸的面部稠密关键点检测算法，包括如下步骤：

S1、特征提取，特征信息包括人脸三维点云信息和人脸三维姿态信息也即图片有效信息，将图片中的有效信息通过卷积神经网络编码器进行提取，编码器由1个卷积层和10个残差块组成，经过5次下采样即可将低维特征压缩至高维特征；

S2、三维信息生成，通过使用在反卷积网络译码器由17个反卷积层，经过5次上采样即可将S1中压缩的高维特征生成三维人脸信息，所述三维人脸信息包括人脸三维点云信息和人脸三维姿态信息；

S3、关键点提取，将S2中生成的三维人脸信息云子集在2D图像上进行投影，通过投影变换，将三维点云信息投影至2D图像上，取出其中的子集，即得到需要检测的人脸关键点。

作为本发明的一种优选技术方案，所述S1中的卷积神经网络由多个卷积层级联而成，每个卷积层都对特征进行压缩。

作为本发明的一种优选技术方案，所述S2中的反卷积网络，由多层反卷积层构成，且每个反卷积层，将对高维特征进行解压，生成人脸的三维点云信息和三维姿态信息。

作为本发明的一种优选技术方案，所述三维点云信息包括人脸的形状和皮肤纹理信息，所述三维姿态信息包括人脸的空间旋转角。

作为本发明的一种优选技术方案，所述S3中的关键点提取包括68个面部关键点提取，在提取关键点的同时对3D人脸模型的顶点进行映射关联，3D人脸模型为已知模型3DMM，其3D点云信息包含在3D人脸模型之中，可以将三维点云信息与皮肤纹理信息一一对应，在提取特征的时候每个特征信息的RGB信息与点云信息是同时进行压缩的，即存在映射关系，故每个关键点都有一个3D人脸模型的顶点与之对应，通过投影变换，将3D人脸模型的顶点映射在2D平面上，即得所需的人脸关键点。

本发明的有益效果是：