[发明专利]一种基于模板人脸逼近的不规范三维人脸网格纹理方法

说明书

本发明公开了一种基于模板人脸逼近的不规范三维人脸网格纹理方法，包括以下步骤：建立模板三维人脸网格到模板纹理图像点之间的纹理映射关系；将模板三维人脸网格与不规范三维人脸网格进行初步对齐；构建对齐后的模板三维人脸网格和不规范三维人脸网格之间的误差能量函数，并优化所述误差能量函数，使得模板三维人脸网格逼近不规范三维人脸网格，最终得到规范三维人脸网格；根据上述的纹理映射关系，实现生成的规范三维人脸网格与模板纹理图像的纹理映射，从而生成规范的带纹理的三维人脸模型。本发明的规范三维人脸网格通过模板参数化纹理坐标实现与模板纹理图像的纹理映射，具有规范输入三维人脸网格拓扑和顶点数目、低成本的优势。

技术领域

本发明涉及人脸数据计算机处理技术领域，尤其涉及一种基于模板人脸逼近的不规范三维人脸网格纹理方法。

背景技术

带纹理的三维人脸模型广泛应用于个性化消费、影视广告、游戏娱乐、可视化实时通讯、整容手术预演、新一代人机交互等诸多领域。另外，纹理映射是建立三维物体表面和二维图像空间像素坐标对应的过程。因为具有消耗较少硬件计算资源和渲染较方便的特点，所以纹理映射是增强三维人脸网格真实感的有效方法。但在很多应用当中，通过一些方式构建的三维人脸网格普遍存在拓扑不规范或顶点数目较大的问题，使得手动建立这种三维人脸网格纹理映射的过程花费大量人力和时间成本。同时，这种三维人脸网格较难在计算能力较差的终端平台(如智能手机等)进行流畅渲染。因此，一种能自动化地建立不规范三维人脸网格纹理映射并能优化网格拓扑和顶点数目的方法具有较大的应用价值。

在三维人脸网格的纹理映射算法中，经过对现有技术的文献检索发现，Blanz等人(BlanzV,Vetter T.A morphable model for the synthesis of 3D faces[C]//Proceedings of the 26th annual conference on Computer graphics andinteractive techniques.ACM Press/Addison-Wesley Publishing Co.,1999:187-194.)提出可形变模型(3D Morphable Model，3DMM)进行三维人脸的重建和纹理映射的方法，通过透视投影和特定光照算法将可形变模型渲染成二维人脸图像，通过优化该二维图像和输入图像的像素平方误差，得到可形变模型的纹理图像的组合权值。但该方法所需的可形变模型依赖于大型三维人脸数据库统计分析，而特定人脸数据库构建、维护和模型训练需要耗费大量人力财力，并且由于受限于数据库的参数空间，人脸重建结果适用范围有限。比如，使用欧洲人的人脸数据库训练出的人脸预测模型，很难重建出较好的亚洲人脸。张剑等(张剑.融合SFM和动态纹理映射的视频流三维表情重建[J].计算机辅助设计与图形学学报,2010,22(6):000949-958.)提出一种融合SFM和动态纹理映射的方法，将跟踪得到的每帧二维特征点位置坐标看作是三维人脸模型上预定义的一组特征顶点的纹理坐标，从而通过插值自动将从原始视频中提取出的人脸纹理信息逐帧映射至与每一视频帧对应的重建出的人脸模型，可从单目摄像头拍摄的原始人脸视频生成逼真的三维人脸表情动画。但该方法是基于机器视觉的原理重建的，由于缺少人脸的先验知识，故重建模型的真实感有待进一步提高。Newcombe等人的方法(Newcombe R A,Izadi S,Hilliges O,etal.KinectFusion:Real-time dense surface mapping and tracking[C]//Mixed andaugmented reality(ISMAR),2011 10th IEEE international symposium on.IEEE,2011:127-136.)可使用深度相机Kinect对真实人体进行三维扫描和重建，最终得到带纹理信息的三维人体，但该方法重建的模型网格拓扑较复杂且顶点数量也较大，需经过较长时间人工修复才能应用于工程项目；并且类似使用三维扫描仪的方法均存在该问题。

发明内容