[发明专利]一种基于图像的三维人脸重建方法

权利要求书

1.一种基于图像的三维人脸重建方法，其特征在于，包括以下步骤：

S1、建立人脸骨骼模型，用于将平均人脸模型的网格绑定在人脸骨骼模型上，其中人脸骨骼的划分是将人脸划分为多个不相关区域，至少包括左耳、右耳、左眼、右眼、左眉、右眉、眉心、左脸、右脸和嘴；

S2、基于平均人脸模型和目标人脸的单幅图像，对目标人脸图像采用Dlib人脸特征点检测算法进行特征点检测，获得68个人脸特征点的坐标；

S3、将平均人脸模型旋转到与目标人脸图像中人脸相同的角度，具体为使用OpenCV中的solvePnP算法，利用S2中获得的人脸特征点坐标以及这些点位于未旋转的平均人脸模型上的坐标，解出人脸欧拉角的最小二乘估计值；

S4、将步骤S2获得的人脸特征点进行平移和缩放，使其与平均人脸模型在相机平面的投影对齐，具体为先利用人脸特征点在S2中被检测到的坐标以及这些点位于平均人脸模型上的坐标解出对齐矩阵的缩放值、x方向位移、y方向位移的最小二乘估计值，再通过对齐矩阵求出所有特征点对齐后的坐标；

S5、采用以下损失函数对骨骼关节的空间变换参数进行回归，所述空间变换参数包括缩放、旋转和位移：

其中，T表示S1中人脸被划分为的不相关区域的数量，v_o,t表示S2在第t个区域中检测到的特征点坐标，v_m,t表示平均人脸模型上第t个区域中的特征点坐标，θ_t表示与第t个区域相关的参数；对每个参数子集θ_t分别进行回归，得到所有骨骼关节的缩放、旋转和位移值，实现将平均人脸模型拟合为目标人脸图像中的脸型；

S6、利用目标人脸图像生成模型纹理，将纹理应用到S5中生成的模型即可得到最终的三维人脸模型。

2.根据权利要求1所述的一种基于图像的三维人脸重建方法，其特征在于，步骤S3中采用的进行投影的人脸特征点为：左眼左右眼角的中点、右眼左右眼角的中点、鼻尖、鼻底、左太阳穴和右太阳穴。

3.根据权利要求1所述的一种基于图像的三维人脸重建方法，其特征在于，步骤S4中采用的人脸特征点为：左太阳穴、左太阳穴下侧、右太阳穴、右太阳穴下侧和眉心。