[发明专利]移动端2D关键点快速转换为3D融合变形的人脸建模方法

权利要求书

1.一种移动端2D关键点快速转换为3D融合变形的人脸建模方法，其特征在于：利用移动设备的摄像机实时获取2D的人脸关键点坐标，再将2D坐标转换为3D的对应关键点，并根据这些对应关键点计算得到3D人脸模型的融合变形参数，用于变换标准人脸模型的姿态、形状以及表情；具体包括以下步骤，

S1、确定人脸关键点，设置一个标准的虚拟人脸模型并设计一个脸部形状的融合变形集合，其中脸部形状的融合变形集合包含43种融合变形，其中形状变形28种，表情变形15种；

S2、通过移动设备的摄像头获取连续人脸画面，对每一帧的人脸图像进行人脸关键点跟踪检测，实时得到每一帧的2D人脸关键点；

S3、根据以上获得的2D人脸关键点来估算虚拟人脸模型的姿态角度，再根据估算出的角度来把虚拟人脸模型转到对应的转向角度；

S4、进一步根据人脸关键点来计算出人脸表情变形与融合变形幅度；

S5、根据S3中估算出来的虚拟人脸模型的姿态角度和S4中计算出来的人脸表情与融合变形幅度，将标准人脸融合变形后的效果实时渲染到虚拟的人脸模型中，并通过微调融合变形方法对标准人脸模型进行调整，具体为：虚拟人脸模型接收摄像机向着对应的2D人脸关键点发射出的射线，如果模型没有接收到射线，则说明模型的大小不及真实的人脸大小，则将模型对应的变换参数调大；如果射线穿过了人脸模型，则说明当前模型大小大于真实的人脸大小，则将对应的模型参数调小，按照上述规则迭代计算，最终将人脸模型逼近得到最接近真实的人脸形状和表情。

2.如权利要求1所述的移动端2D关键点快速转换为3D融合变形的人脸建模方法，其特征在于，步骤S3中，估算的虚拟人脸模型的姿态角度即xyz三个轴上的人脸转动的角度，以欧拉角来表示。

3.如权利要求1所述的移动端2D关键点快速转换为3D融合变形的人脸建模方法，其特征在于，步骤S4中，所述计算出人脸表情变形与融合变形幅度包括以下步骤：

4a、将各个表情下的人脸关键点之间的距离分解为表情距离，并作为相应的表情的表情依据；

4b、选择一个特定值作为一个比例基础，将其它表情距离转换成与该比例基础的比值，称为表情比值；

4c、确定表情比值的基准值、最大值、最小值及当前值；

4d、根据以上确定的基准值、最大值、最小值及当前值来确定表情的正向变化指数和反向变化指数。

4.如权利要求3所述的移动端2D关键点快速转换为3D融合变形的人脸建模方法，其特征在于，步骤4a中，在将各个表情下的人脸关键点之间的距离分解为表情距离时，如果是在侧脸的情况下，则将相应的侧脸表情距离回归到正脸距离，以此来消除侧脸对融合变形的影响。

5.如权利要求3所述的移动端2D关键点快速转换为3D融合变形的人脸建模方法，其特征在于，步骤4b中，所选择作为比例基础的特定值是人脸上特征性器官的参数。

6.如权利要求5所述的移动端2D关键点快速转换为3D融合变形的人脸建模方法，其特征在于，所述特征性器官参数是两眼间距离。

7.如权利要求3所述的移动端2D关键点快速转换为3D融合变形的人脸建模方法，其特征在于，步骤4c中，确定所述最大值、最小值后，还会根据每个人的表情数据进行阈值调整，并且所述最大值和最小值还会根据当前人脸的表情变化进行实时更新。

8.如权利要求1所述的移动端2D关键点快速转换为3D融合变形的人脸建模方法，其特征在于，步骤S5中，根据S3中估算出来的虚拟人脸模型的姿态角度和S4中计算出来的人脸表情变形与融合变形幅度，选择融合变形集合中最贴合的融合变形组合，将标准人脸融合变形后的效果实时渲染到虚拟的人脸模型中，通过叠加融合变形，实现虚拟人脸模型及卡通人模型与人脸的同步。