[发明专利]基于深度学习的人脸关键点对齐算法

说明书

本发明提供了一种基于深度学习的人脸关键点对齐算法，包括以下步骤：建立卷积神经网络，该卷积神经网络学习非线性函数F(x)，F(x)为输入是人脸图像x，输出p个人脸标记点的坐标估计值的函数，利用样本集训练该卷积神经网络，使得F(x)与S_g(x)的输出间的欧式距离最小，其特征在于：所述卷积神经网络包括全局卷积神经网络和局部卷积神经网络。本发明提供的算法在XM2VTS，LFPW和HELEN三个公共数据集上与包括CFAN和SDM等其它现有算法相比较，更为高效，鲁棒性更强。

技术领域

本发明涉及一种人脸对齐或定位人脸语意关键点的方法。

背景技术

人脸对齐或者定位人脸语义关键点，对于人脸识别，人脸表情识别，人脸绘制以及3D人脸模拟等具有重要的意义。因此，近些年这一问题引起越来越多的关注。尤其是现在互联网上个人照片爆炸式增长，急需全自动的高效的鲁棒的人脸对齐技术。

发明内容

本发明要解决的技术问题是：在给定人脸上预测若干关键点坐标。

为了解决上述技术问题，本发明的技术方案是提供了一种基于深度学习的人脸关键点对齐算法，设人脸图像x有p个人脸标记点，S_g(x)为输入是人脸图像x，以p个人脸标记点标准坐标为输出的函数，包括以下步骤：

建立卷积神经网络，该卷积神经网络学习非线性函数F(x)，F(x)为输入是人脸图像x，输出p个人脸标记点的坐标估计值的函数，利用样本集训练该卷积神经网络，使得F(x)与S_g(x)两个函数输出间的欧式距离最小，其特征在于：

所述卷积神经网络包括全局卷积神经网络和局部卷积神经网络，人脸图像输入全局卷积神经网络后得到p个人脸标记点的坐标的中间估计值S₁，以人脸标记点坐标中间估计值S₁上的p个人脸标记点的坐标中间估计值周围的局部图像为输入，输入局部卷积神经网络后，得到p个人脸标记点的坐标准确值与坐标中间估计值之间的差值，从而得到人脸关键点坐标差值ΔS₂，由局部卷积神经网络输出含有p个人脸标记点的坐标的最终估计值S₂＝S₁+ΔS₂，所述卷积神经网络经样本集训练后得到的人脸关键点最终估计值S₂即为F(x)。

优选地，所述全局卷积神经网络包括四个进行相同卷积和最大池化操作的卷积神经子网络一，对同一人脸图像采样得到四种不同分辨率的采样人脸图像，将四幅采样人脸图像输入四个卷积神经子网络一后，经过卷积和最大池化操作后，形成四个特征表示，学习由这些特征表示到p个人脸标记点坐标的回归函数，得到含有p个人脸标记点的坐标中间估计值S₁。

优选地，所述卷积神经子网络一有10层。

优选地，所述局部卷积神经网络包括四个进行相同卷积和最大池化操作的卷积神经子网络二，对同一人脸关键点中间估计值S₁采样得到四种不同分辨率的采样图像，对每个采样图像分别取采样图像上p个人脸标记点的坐标中间估计值周围的区域图像作为一个卷积神经子网络二的输入，即每个卷积神经子网络二的输入为p幅区域图像，分别经过四个卷积神经子网络二的计算后得到四个特征表示，学习由这些特征表示到p个人脸标记点的回归函数，得到所述人脸关键点对齐差值ΔS₂。

优选地，所述卷积神经子网络二有6层。

本发明提供的算法在XM2VTS，LFPW和HELEN三个公共数据集上与包括CFAN和SDM等其它现有算法相比较，更为高效，鲁棒性更强。

附图说明

图1为本发明中全局卷积神经网络的网络结构；

图2为卷积神经子网络一的网络结构；