[发明专利]一种移动端3D人脸增强现实实现方法

摘要

本发明提供了一种移动端3D人脸增强现实效果方法，所述方法包括从移动设备摄像头中捕捉视频流；从所述视频流中获取图像帧；对所述图像帧中的每一帧进行人脸关键点检测跟踪；根据上述人脸关键点坐标计算3D模型对应关键点的坐标，并将模型移动到正确位置；调整3D模型位置及尺寸；根据2D人脸关键点来估算虚拟3D人脸模型的姿态角度；根据人脸关键点来计算出17组人脸表情与融合变形幅度；根据上述不同表情融合变形幅度，进行融合变形；将上述过程中不同人脸表情融合变形结果相叠加，渲染出最终人脸增强现实效果。采用该方法，能够减少计算量，使得增强现实技术能够在移动端流畅运行。

主权项

一种移动端3D增强现实实现方法，其特征在于，所述方法包括以下步骤：1）预先制作一个3D人脸模型，并标定人脸关键点；2）从移动设备摄像头中捕捉视频流并从所述视频流中获取图像帧；3）利用人脸追踪器对所述图像中的每一帧进行人脸关键点检测与跟踪，其中读取第一帧图像帧时，捕捉当前图像帧中的人脸区域，利用机器学习算法检测人脸中的关键点，第一帧以后的图像帧采用特征匹配的跟踪方式，在前一帧人脸区域附近检测上述关键点，并捕捉当前图像帧的人脸区域；4）根据获得的人脸关键点信息，调整预先制作的3D人脸模型的位置和尺寸，其中在三维空间中，将摄像头获取的真实人脸检测图像作为背景幕布，将三维模型放在三维空间里并对准其中一个选定的关键点，使得相机、模型上的选定关键点和真实人脸上的选定关键点在一条直线上，调整三维模型的大小和前后位置，使模型遮挡住人脸部分或全部画面；5）根据获得的人脸关键点信息，调整预先制作的3D人脸模型的姿态角度，其中用欧拉角表示人脸俯仰、偏转和翻转的角度，每隔5度记录幕布上人脸转动时追踪器返回的三个角度值，对利用该方式获得的三个角度值进行线性回归，得到俯仰、偏转和翻转三个角度值的回归模型，将追踪器返回的角度值输入回归模型，估算出人脸三维模型的转动角度，再根据该估算的角度将虚拟人脸模型转到对应的角度；6）制作一套包含若干组人脸表情与融合变形幅度的集合，每一组人脸表情与融合变形幅度包含若干个关键点，根据以上步骤中获得的关键点信息计算每一组表情与融合变形幅度中的人脸表情距离；7）根据上一步骤中计算得到的人脸表情变化距离对人脸表情进行融合变形，其中利用上一步骤中计算得到的人脸表情距离作为融合变形幅度依据，根据人脸偏转角度将侧脸表情距离回归为正脸距离，并对各人脸表情距离进行归一化，求取表情距离数据的正向变化和反向变化的值，并根据该值拉伸3D人脸模型相应表情区域关键点的位置，使得人脸模型能够随着人脸表情的运动作出相应的精确运动；8）微调融合变形，进一步实现人脸贴合，其中首先调整人脸模型与真实人脸边缘轮廓点，然后调整内部表情控制点；9）进行多组融合变形并进行效果的叠加，渲染出增强人脸效果。