[发明专利]一种基于图像的三维人脸重建方法

说明书

本发明人脸识别技术领域，具体涉及一种基于图像的三维人脸重建方法。本发明提出了一种基于蒙皮形变的三维人脸重建方法，将求解顶点坐标问题简化为求解骨骼关节姿态的问题，减少了计算量，重建速度较快；不依赖任何人脸数据库，制作成本较低，二次开发复杂度低，适用于工业上各种三维引擎。

技术领域

本发明属于人脸识别技术领域，具体涉及一种基于图像的三维人脸重建方法。

背景技术

近年来，虚拟现实技术在动画、游戏、影视等领域的应用日渐广泛，对三维人脸重建的需求也日益增长。由于设备成本和采集环境的限制，利用单图像重建人脸是大多数使用者的最优选择。如何基于单张照片快速、精确地建立三维人脸模型已经成为一个热门的研究方向。

其中，基于混合形变的人脸重建方法当前用途最广。不同人的脸型大同小异，只是脸部外轮廓、五官位置和大小有少量差距。因此，采用一种平均脸型，那么人脸重建问题就变成了计算目标脸型与平均脸型的残差。

如果数据集足够丰富，那么任何一组人脸顶点坐标都可以表示为所有采集到的人脸数据的顶点坐标的内插：

S＝ω₀S₀+ω₁S₁+…+ω_nS_n

ω₀+ω₁+…+ω_n＝1

其中，S₀～S_n表示采集到的人脸，S表示目标人脸，而人脸重建的任务就是求解ω₀～ω_n的值。

目前传统的方法包括基于混合形变的人脸重建方法和基于体积回归的人脸重建方法。前者当前应用较广，但由于其效果依赖三维人脸数据集的丰富度，对数据的采集要求较高，二次开发工作量大，制作成本较高；而后者因为应用了最前沿的深度学习技术，时间复杂度较高，而且由于生成的人脸模型拓扑结构不固定，通用性较弱，难以在工业上进行二次开发。

发明内容

针对上述问题，本发明提出了一种基于蒙皮形变的人脸重建方法，不依赖人脸数据集，二次开发工作量较小，时间复杂度低；拓扑结构固定，通用性较好，适用于现有的各种三维图形引擎。

本发明的技术方案如下：

一种基于图像的三维人脸重建方法，包括以下步骤：

S1、建立人脸骨骼模型，用于将平均人脸模型的网格绑定在人脸骨骼模型上，其中人脸骨骼的划分是将人脸划分为多个不相关区域，至少包括左耳、右耳、左眼、右眼、左眉、右眉、眉心、左脸、右脸和嘴；

S2、基于平均人脸模型和目标人脸的单幅图像，对目标人脸图像采用Dlib人脸特征点检测算法进行特征点检测，获得68个人脸特征点的坐标；

S3、将平均人脸模型旋转到与目标人脸图像中人脸相同的角度，具体为使用OpenCV中的solvePnP算法，利用S2中获得的人脸特征点坐标以及这些点位于未旋转的平均人脸模型上的坐标，解出人脸欧拉角的最小二乘估计值；

S4、将步骤S2获得的人脸特征点进行平移和缩放，使其与平均人脸模型在相机平面的投影对齐，具体为先利用人脸特征点在S2中被检测到的坐标以及这些点位于平均人脸模型上的坐标解出对齐矩阵的缩放值、x方向位移、y方向位移的最小二乘估计值，再通过对齐矩阵求出所有特征点对齐后的坐标；

S5、采用以下损失函数对骨骼关节的空间变换参数(缩放、旋转和位移)进行回归：