[发明专利]一种移动端3D人脸增强现实实现方法

权利要求书

1.一种移动端3D增强现实实现方法，其特征在于，所述方法包括以下步骤：

1）预先制作一个3D人脸模型，并标定人脸关键点；

2）从移动设备摄像头中捕捉视频流并从所述视频流中获取图像帧；

3）利用人脸追踪器对所述图像中的每一帧进行人脸关键点检测与跟踪，其中读取第一帧图像帧时，捕捉当前图像帧中的人脸区域，利用机器学习算法检测人脸中的关键点，第一帧以后的图像帧采用特征匹配的跟踪方式，在前一帧人脸区域附近检测上述关键点，并捕捉当前图像帧的人脸区域；

4）根据获得的人脸关键点信息，调整预先制作的3D人脸模型的位置和尺寸，其中在三维空间中，将摄像头获取的真实人脸检测图像作为背景幕布，将三维模型放在三维空间里并对准其中一个选定的关键点，使得相机、模型上的选定关键点和真实人脸上的选定关键点在一条直线上，调整三维模型的大小和前后位置，使模型遮挡住人脸部分或全部画面；

5）根据获得的人脸关键点信息，调整预先制作的3D人脸模型的姿态角度，其中用欧拉角表示人脸俯仰、偏转和翻转的角度，每隔5度记录幕布上人脸转动时追踪器返回的三个角度值，对利用该方式获得的三个角度值进行线性回归，得到俯仰、偏转和翻转三个角度值的回归模型，将追踪器返回的角度值输入回归模型，估算出人脸三维模型的转动角度，再根据该估算的角度将虚拟人脸模型转到对应的角度；

6）制作一套包含若干组人脸表情与融合变形幅度的集合，每一组人脸表情与融合变形幅度包含若干个关键点，根据以上步骤中获得的关键点信息计算每一组表情与融合变形幅度中的人脸表情距离；

7）根据上一步骤中计算得到的人脸表情变化距离对人脸表情进行融合变形，其中利用上一步骤中计算得到的人脸表情距离作为融合变形幅度依据，根据人脸偏转角度将侧脸表情距离回归为正脸距离，并对各人脸表情距离进行归一化，求取表情距离数据的正向变化和反向变化的值，并根据该值拉伸3D人脸模型相应表情区域关键点的位置，使得人脸模型能够随着人脸表情的运动作出相应的精确运动；

8）微调融合变形，进一步实现人脸贴合，其中首先调整人脸模型与真实人脸边缘轮廓点，然后调整内部表情控制点；

9）进行多组融合变形并进行效果的叠加，渲染出增强人脸效果。

2.如权利要求1所述的移动端3D增强现实实现方法，其特征在于，在步骤4）中，所述选定的关键点为人中关键点。

3.如权利要求1所述的移动端3D增强现实实现方法，其特征在于，在步骤6）中，在该集合中，包含17组人脸表情与融合变形幅度。

4.如权利要求1所述的移动端3D增强现实实现方法，其特征在于，在步骤6）中，通过计算每一组人脸表情与融合变形幅度中相应关键点的坐标差得出关于这一关键点的相应人脸表情距离。

5. 如权利要求1所述的移动端3D增强现实实现方法，其特征在于，在步骤7）中，将侧脸表情距离回归为正脸距离的过程为，其中为正脸表情距离，为侧脸表情距离，为侧脸角度。

6.如权利要求1所述的移动端3D增强现实实现方法，其特征在于，在步骤7）中，人脸表情距离归一化的过程为：选取人脸特定器官距离值作为基准，取表情距离与特定器官距离值的比值作为归一化后的表情比值。

7.如权利要求6所述的移动端3D增强现实实现方法，其特征在于，所述特定器官距离值为两眼间距。

8.如权利要求6所述的移动端3D增强现实实现方法，其特征在于，在对人脸表情距离归一化后进一步确定表情比值的基准值、最大值、最小值和当前值，，以此计算表情数据正向变化和反向变化的值。

9.如权利要求1所述的移动端3D增强现实实现方法，其特征在于，微调融合变形的过程包括：虚拟摄像机向真实人脸图像上的关键点发射虚拟射线，虚拟射线穿过人脸模型，通过虚拟射线与人脸模型轮廓的相交情况确定人脸模型的位置是否合适并进行调整，然后根据与真实人脸上内部控制点相关的虚拟射线与模型上相应内部控制点的关系确定对模型上相应器官的调整方案，最终将人脸模型微调逼近到最接近真实的融合变形及幅度。