[发明专利]移动端2D关键点快速转换为3D融合变形的人脸建模方法

说明书

本发明提供一种移动端2D关键点快速转换为3D融合变形的人脸建模方法，利用移动设备的摄像机实时获取2D的人脸关键点坐标，再将2D坐标转换为3D的对应关键点，并根据这些对应关键点计算得到3D人脸模型的融合变形参数，用于变换标准人脸模型的姿态、形状以及表情；本发明不需对特定用户进行特殊的预处理或者进行学习过程，亦不需要进行3D关键点的坐标回归运算，而是通过摄像机发射射线的方式逐渐逼近各个3D关键点最终将2D的人脸形状与表情转移到3D模型上。本发明提供的方法计算简单，高效快速，能够在移动设备上实时运行，重建出的3D人脸模型具有较高的保真度。

技术领域

本发明涉及一种移动端2D人脸关键点快速转换为3D融合变形的人脸建模方法。

背景技术

目前的人脸建模方法需要事先为人脸模型设置骨骼等来控制人脸变形，采取3D人脸特征点的计算来获得关键点的位置，需要对特定用户进行特殊的预处理或者进行学习过程，需要进行3D关键点的坐标回归运算，这样的方式下，效率低，反应迟缓甚至卡顿，效果不理想。

上述问题是在2D人脸关键点转换为3D融合变形的人脸建模过程中应当予以考虑并解决的问题。

发明内容

本发明的目的是提供一种移动端2D人脸关键点快速转换为3D融合变形的人脸建模方法解决现有技术中存在的上述问题。

本发明的技术解决方案是：

一种移动端2D关键点快速转换为3D融合变形的人脸建模方法，其特征在于：利用移动设备的摄像机实时获取2D的人脸关键点坐标，再将2D坐标转换为3D的对应关键点，并根据这些对应关键点计算得到3D人脸模型的融合变形参数，用于变换标准人脸模型的姿态、形状以及表情；具体包括以下步骤，

S1、确定人脸关键点，设置一个标准的虚拟人脸模型并设计一个脸部形状的融合变形集合；

S2、通过移动设备的摄像头获取连续人脸画面，对每一帧的人脸图像进行人脸关键点跟踪检测，实时得到每一帧的2D人脸关键点；

S3、根据以上获得的2D人脸关键点来估算虚拟人脸模型的姿态角度，再根据估算出的角度来把虚拟人脸模型转到对应的转向角度；

S4、进一步根据人脸关键点来计算出人脸表情变形与融合变形幅度；

S5、根据S3中估算出来的虚拟人脸模型的姿态角度和S4中计算出来的人脸表情与融合变形幅度，将标准人脸融合变形后的效果实时渲染到虚拟的人脸模型中。

在上述方法中，优选地，在步骤S1中，脸部形状的融合变形集合包含43种融合变形，其中形状变形28种，表情变形15种。另外在一个优选实施方案中，在步骤S3中，估算的虚拟人脸模型的姿态角度即xyz三个轴上的人脸转动的角度，以欧拉角来表示。

进一步，在步骤S4中，所述计算出人脸表情变形与融合变形幅度包括以下步骤：

4a、将各个表情下的人脸关键点之间的距离分解为表情距离，并作为相应的表情的表情依据；

4b、选择一个特定值作为一个比例基础，将其它表情距离转换成与该比例基础的比值，称为表情比值；

4c、确定表情比值的基准值、最大值、最小值及当前值；

4d、根据以上确定的表情比值的基准值、最大值、最小值及当前值来确定表情的正向变化指数和反向变化指数。

进一步在以上步骤S4的步骤4a中，在将各个表情下的人脸关键点之间的距离分解为表情距离时，如果是在侧脸的情况下，则将相应的侧脸表情距离回归到正脸距离，以此来消除侧脸对融合变形的影响。

而在步骤4b中，优选所选择作为比例基础的特定值是人脸上特征性器官的参数。进一步优选地，所述特征性器官参数是两眼间距离。