[发明专利]基于深度学习的多角度人脸对齐方法、系统及拍摄终端

说明书

技术领域

本发明涉及图像处理技术领域，特别是一种基于深度学习的多角度人脸对齐方法及其应用该方法的系统、拍摄终端。

背景技术

人脸对齐的主要目的在于让计算机自动化地定位出人脸各个部位的位置，如眼角、嘴角、鼻尖等，其最主要用途在于一是人脸识别，在人脸识别中，大量被拍摄人物处于多角度旋转中，为了降低识别难度，通过人脸对齐将被摄人脸转正到同一角度，以提高人脸识别的精度；二是图片上妆，为了对图片中的人脸进行虚拟化妆，需要通过人脸对齐方法定位出人脸各个组成部分位置。

现有的人脸对齐方法通常中，首先通过人工标记数据来获取关键点位置数据，后通过提取特征输入线性回归等学习算法进行关键点位置回归学习。但在日常拍摄场景下，被摄人物并非总是正脸对着摄像头，大量情况下会有因不同角度的侧脸导致眼睛等部分被遮挡，导致人脸对齐的效果并不理想，同时精度也达不到图片上妆的需求，训练出的模型占用空间较大，较难嵌入手机等移动设备中。

发明内容

本发明为解决上述问题，提供了一种基于深度学习的多角度人脸对齐方法、系统及拍摄终端，其通过人脸姿态检测和利用多个人脸对齐模型分别处理不同角度的用户图像，算法鲁棒性高，精度提升显著。

为实现上述目的，本发明采用的技术方案为：

首先，本发明提供一种基于深度学习的多角度人脸对齐方法，其包括以下步骤：

10.搜集人脸样本图像，对所述人脸样本图像进行人脸关键点的标记和人脸旋转角度的标记；

20.将所述人脸样本图像及其对应的人脸旋转角度输入卷积神经网络进行训练，输出预设的人脸旋转角度的区间范围所对应的人脸姿态类型，得到人脸角度模型；

30.利用所述的人脸角度模型，并根据所述人脸关键点对所述人脸样本图像的人脸关键点坐标进行回归训练，得到不同人脸姿态类型所对应的人脸对齐模型；

40.将待检测图像输入所述的人脸角度模型进行预测，输出得到所述待检测图像所对应的人脸姿态类型，并调用相应的人脸对齐模型进行回归预测，得到待检测图像的人脸关键点的坐标位置。

优选的，所述的步骤10中，对所述人脸样本图像进行人脸关键点的标记和人脸旋转角度的标记，是指对人脸样本图像进行人脸五官及轮廓的关键点进行人工标记，并根据人脸关键点的坐标位置计算和标记该人脸样本图像的人脸旋转角度。

优选的，所述的步骤20中，所述的人脸旋转角度的区间范围，是指根据人脸旋转角度将人脸的正面和侧面进行平均分割为两个或两个以上的区间范围，每个人脸旋转角度的区间范围对应一种人脸姿态类型。

优选的，所述的人脸旋转角度分割为5个区间范围，包括：[-180°,-120°),[-120°,-60°),[-60°,+60°],(+60°,+120°],(+120°,+180°]。

优选的，所述的步骤30中，得到不同人脸姿态类型所对应的人脸对齐模型后，还进一步将该不同人脸姿态类型的人脸对齐模型与所述的人脸角度模型进行拼接得到联合人脸对齐模型。

优选的，所述的步骤40中，调用相应的人脸对齐模型进行回归预测，是根据输出得到的所述待检测图像所对应的人脸姿态类型，得到所述待检测图像所对应的人脸旋转角度的区间范围，并将所述待检测图像输入到相应的人脸对齐模型中进行预测。

其次，本发明提供一种基于深度学习的多角度人脸对齐系统，其包括：

标记模块，用于对搜集的人脸样本图像进行人脸关键点的标记和人脸旋转角度的标记；

人脸角度模型创建模块，用于将所述人脸样本图像及其对应的人脸旋转角度输入卷积神经网络进行训练，输出预设的人脸旋转角度的区间范围所对应的人脸姿态类型，得到人脸角度模型；

人脸对齐模型创建模块，其利用所述的人脸角度模型，并根据所述人脸关键点对所述人脸样本图像的人脸关键点坐标进行回归训练，得到不同人脸姿态类型所对应的人脸对齐模型；

检测模块，其将待检测图像输入所述的人脸角度模型进行预测，输出得到所述待检测图像所对应的人脸姿态类型，并调用相应的人脸对齐模型进行回归预测，得到待检测图像的人脸关键点的坐标位置。

优选的，还包括拼接模块，用于将所述不同人脸姿态类型的人脸对齐模型与所述的人脸角度模型进行拼接得到联合人脸对齐模型。

另外，本发明还提供一种拍摄终端，其包括如上任一项所述的基于深度学习的多角度人脸对齐系统。

本发明的有益效果是：