[发明专利]一种从单张图片生成高精度可驱动人脸三维模型的方法有效
申请号: | 201911320035.2 | 申请日: | 2019-12-19 |
公开(公告)号: | CN111091624B | 公开(公告)日: | 2021-09-28 |
发明(设计)人: | 朱昊;杨皓天;汪晏如;黄铭锴;沈秋;曹汛;杨睿刚 | 申请(专利权)人: | 南京大学 |
主分类号: | G06T17/20 | 分类号: | G06T17/20;G06T7/49;G06K9/00;G06N3/04;G06N3/08 |
代理公司: | 江苏法德东恒律师事务所 32305 | 代理人: | 李媛媛 |
地址: | 210046 江苏*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 单张 图片 生成 高精度 驱动 三维 模型 方法 | ||
本发明公开一种从单幅图片生成高精度可驱动人脸三维模型的方法。该方法包括:使用大规模三维人脸数据库建立参数化模型,包括用于表示粗略外形的双线性模型和用于表示细节外形的置换贴图;使用数据库中的图片和置换贴图训练神经网络;输入单幅人脸图片,得到人脸双线性模型参数,进而得到图片中人脸对应的一套表情基模型;将得到的人脸纹理贴图和顶点位移图输入训练好的神经网络,得到关键表情的置换贴图;根据输入的驱动参数,将关键表情的置换贴图按照掩模局部加权叠加得到驱动参数对应表情的置换贴图,由此可以得到高精度的任意表情的人脸三维模型。本方法得到的三维人脸模型具有很高的精度,包含了毛孔级别的细节和表情变化导致的动态皱纹。
技术领域
本发明属于计算机视觉领域,具体地说,本发明涉及一种从单张图片生成高精度可驱动人脸三维模型的方法。
背景技术
人脸三维模型在动画和影视制作、虚拟现实、人机交互等方面有众多应用。传统的高精度人脸三维重建需要昂贵的采集设备和复杂的操作流程,如多视点采集系统和激光扫描仪等。由于基于单张图片的人脸三维重建具有速度快、成本低等优势,近年来已经成为了计算机视觉和计算机图形学研究的热点。近年来的基于单张图像的人脸三维重建研究可以分为两个方向,即基于参数模型的人脸三维重建和人脸模型上细节的预测。
第一个方向基于参数化人脸模型,即将三维人脸表示为低维的形状和纹理参数。参数化人脸模型内在地限制了人脸的先验关系,将人脸三维重建转换为了参数拟合的问题,通过从图片获得模型参数,进而得到人脸三维模型。例如,Romdhani Sami等人(Romdhani S,Vetter T.Estimating 3D shape and texture using pixel intensity,edges,specular highlights,texture constraints and a prior[C]//2005IEEEComputer Society Conference on Computer Vision and Pattern Recognition(CVPR'05).IEEE,2005,2:986-993)提出,根据输入图片上的边缘、像素值等特征建立能量方程,然后用最优化的方法,由最小化能量方程得到图片对应的人脸3DMM(3DMorphable Model)模型参数。ZhuXiangyu等人(Zhu X,Liu X,Lei Z,et al.Face alignment in full poserange:A 3d total solution[J].IEEE transactions on pattern analysis andmachine intelligence,2017,41(1):78-92)提出通过神经网络回归的方法,预测图片对应的3DMM参数,并通过数据增强的方法提高了在人脸大角度旋转情况下的准确性。ChaudhuriBindita等人(Chaudhuri B,Vesdapunt N,Wang B.Joint Face Detection andFacial Motion Retargeting for Multiple Faces[C]//Proceedings of the IEEEConference on Computer Vision and Pattern Recognition.2019:9719-9728)提出通过神经网络同时进行人脸检测和模型参数预测能够取得更好的效果,并使用预测的表情参数进行了三维人脸模型的表情驱动。虽然基于参数模型的表示方法大大简化了人脸三维重建的难度,并且利用身份和表情参数分离的参数模型能够得到可驱动的人脸三维模型,但由于参数模型的表示能力有限,因此重建出的三维模型精度较低,不包含皱纹等细节。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京大学,未经南京大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911320035.2/2.html,转载请声明来源钻瓜专利网。