[发明专利]基于多任务正则化与逐层监督神经网络的人脸点检测系统

说明书

本发明公开一种基于多任务正则化与逐层监督神经网络的人脸点检测系统，包括：多任务正则化模块和逐层监督网络模块，其中：所述多任务正则化模块，包括主任务与相关任务，主任务与相关任务共同学习得到共有的特征空间，再利用相关任务的辅助标签提供附加正则项以加强网络的泛化能力；所述逐层监督网络模块，不同于传统卷积神经网络只对输出层目标函数进行优化，而是对每一中间层都引入监督目标函数，从而加强中间层学习到的特征的显著性。本发明可以有效解决传统卷积神经网络的过拟合与特征鲁棒性不确定的问题。

技术领域

本发明涉及一种计算机视觉领域的人脸点检测方法，具体是一种基于多任务正则化与逐层监督神经网络的人脸点检测系统。

背景技术

在计算机视觉领域，人脸点，如眼睛、鼻子、嘴巴等的检测是一个非常基本而重要的问题，是后续的人脸识别、追踪及3D人脸建模的基础。即使有大量的研究投入其中，由于图像中人的头部姿势变化及部分遮挡问题，人脸点检测在环境下受限的情况下仍然是一个富有挑战性的问题。

现有的人脸点检测方法主要分为两类：模板适配与基于回归的方法。基于回归的方法首先对输入图像进行特征提取，然后将学习到的特征映射至人脸特征点的空间。卷积神经网络将原始图片作为输入，利用多个线性滤波器自动计算高层次的特征表示，在实际特征提取应用中取得显著成果。

Y.Sun等人在2013年的《IEEE Computer Vision and Pattern Recognition》(IEEE CVPR)会议上发表的“Deep convolutional network cascade for facial pointdetection”一文中提出了一种多个卷积神经网络级联的人脸点检测方法，它预先将人脸分成几个部分，对每个部分单独使用卷积神经网络进行由粗到细的特征点检测，但是这种级联的方法使得网络参数成倍增加导致训练困难，并且会带来非常大的计算开销。

Z.Zhang等人在2014年的《European Conference on Computer Vision》会议上发表的“Facial landmark detection by deep multi-task learning”一文中提出了一种多任务学习的方法。这种方法利用人脸其他特性与特征点的相关性进行卷积神经网络模型建立，以促进对主任务即人脸点的检测。这种方法降低了模型复杂度，却没有考虑到主任务和相关任务的具体关系。

发明内容

本发明针对现有技术中的缺陷，提供了一种基于多任务正则化与逐层监督神经网络的人脸点检测系统，可以有效解决传统卷积神经网络的过拟合与特征鲁棒性不确定的问题。

本发明是通过以下技术方案实现的：

本发明所述的一种基于多任务正则化与逐层监督神经网络的人脸点检测系统，包括两部分：多任务正则化模块和逐层监督网络模块，其中：

所述逐层监督网络模块，对输入图像根据其像素值进行特征提取，不同于传统卷积神经网络只对输出层目标函数进行优化，该模块对每一中间层都引入监督目标函数，从而加强中间层学习到的特征的显著性，再将输出特征输入给多任务正则化模块进行信号的反向传播，以此重复直至网络收敛；

所述多任务正则化模块，包括主任务与相关任务，主任务与相关任务共同学习逐层监督网络模块的参数得到所有任务共有的特征空间，再利用相关任务的辅助标签提供附加正则项以加强网络的泛化能力，最后输出主任务的预测坐标值。

优选地，所述多任务正则化模块，包括主任务子模块与相关任务子模块，其中：

所述主任务子模块对输入人脸图像5个特征点的检测，分别是：左眼、右眼、鼻子、左嘴角和右嘴角的检测，预测每个点的坐标值作为最终输出。

所述相关任务子模块分别对输入人脸图像进行姿态估计、笑容检测、眼镜检测与性别预测，预测每个分类任务的标签值以提升主任务的预测准确率。