[发明专利]一种基于姿态适应的树突状卷积神经网络的人脸对齐方法

说明书

本发明中提出的一种基于姿态适应的树突状卷积神经网络的人脸对齐方法，其主要内容包括：姿态适应的树突状卷积神经网络、模块化辅助任务卷积神经网络、对姿态适应的树突状卷积神经网络的训练和面部特征点树状结构，其过程为，先将RGB人脸图像输入到PCD‑CNN，在多层卷积网络和多层反卷积网络中进行模拟，以提取面部特征点；然后，将PCD‑CNN的模拟结果即特征点响应热图输入到模块化辅助任务卷积神经网络；最后，对特征点响应热图进行细粒度定位和遮脸探测，以提高人脸对齐的精度。本发明减少了网络的参数量和滤波器的数量，提高了网络的学习效率，并且采用了模块化辅助任务卷积神经网络，提高了人脸对齐的精度。

技术领域

本发明涉及人脸识别领域，尤其是涉及了一种基于姿态适应的树突状卷积神经网络的人脸对齐方法。

背景技术

人脸对齐任务是人脸识别过程的一个步骤，即根据输入的人脸图像，自动定位出面部关键特征点，如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点等。在人脸识别方面，通过人脸对齐技术可调整人的面部特征的角度，使其在特征对比阶段有更高的精度；在表情识别领域，通过人脸对齐技术可精确捕捉到人的面部表情，以对其情绪进行判定；在人脸动画自动合成方面，通过人脸对齐技术可对人的表情进行提取，并用于该人物动画表情的合成。然而，目前的人脸识别系统运算复杂程度较高，运算效率低，并且识别的精确性也不够高，尤其对极端姿势的识别效果不佳。

本发明中提出的一种基于姿态适应的树突状卷积神经网络的人脸对齐方法，先将RGB人脸图像输入到PCD-CNN，在多层卷积网络和多层去卷积网络中进行模拟，以提取面部特征点；然后，将PCD-CNN的模拟结果即特征点响应热图输入到模块化辅助任务卷积神经网络；最后，对特征点响应热图进行细粒度定位和遮脸探测，以提高人脸对齐的精度。本发明减少了网络的参数量和滤波器的数量，提高了网络的学习效率，并且采用了模块化辅助任务卷积神经网络，提高了人脸对齐的精度。

发明内容

针对目前的人脸识别系统运算复杂程度较高，运算效率低，并且识别的精确性也不够高等问题，本发明中提出的一种基于姿态适应的树突状卷积神经网络的人脸对齐方法，先将RGB人脸图像输入到PCD-CNN，在多层卷积网络和多层去卷积网络中进行模拟，模拟过程能输出人脸面部姿势，从中提取面部特征点；然后，将PCD-CNN的模拟结果即特征点响应热图输入到模块化辅助任务卷积神经网络，模块化辅助任务卷积神经网络是通用的卷积神经网络，用于运行人脸对齐的辅助任务：最后，执行人脸对齐的辅助任务，即对特征点响应热图进行细粒度定位和遮脸探测，以提高人脸对齐的精度，尤其对极端面部姿势的人脸对齐效果。

为解决上述问题，本发明提供一种基于姿态适应的树突状卷积神经网络的人脸对齐方法，其主要内容包括：

(一)姿态适应的树突状卷积神经网络；

(二)模块化辅助任务卷积神经网络；

(三)对姿态适应的树突状卷积神经网络的训练；

(四)面部特征点树状结构。

其中，所述的姿态适应的树突状卷积神经网络，具体包括：由多层卷积网络和多层去卷积网络组成，其作用主要是对人脸图像的特征点进行估计；人脸图像特征点估计主要通过使用卷积层和去卷积层组成的树结构中的独立CNN进行，CNN为卷积神经网络；不同特征点的成对关系通过函数f_i,j进行模拟，f_i,j通过卷积层实现；姿态适应的树突状卷积神经网络完全基于2D图像，通过对3D头部姿态的调节来捕捉3D信息，其中，姿态适应的树突状卷积神经网络表示为PCD-CNN。