[发明专利]基于单张照片的人脸动画方法

说明书

技术领域

本发明涉及图形图像处理与计算机视觉领域，特别是基于图像的三维人脸建模和动画方法。

背景技术

基于单张照片的人脸动画是指从二维人脸图像出发，合成出该人的表情动画。它是计算机图形学、图像处理、计算机视觉等领域的研究热点和难点，吸引了大量的科研人员对其进行研究。人脸动画具有广阔的应用前景，主要包括：三维游戏、影视制作、人机交互界面、远程呈现、教育等。基于单张图像的人脸表情动画方法可以分为直接基于图像处理的2D表情动画和基于人脸建模的3D表情动画。其中，基于图像处理的2D表情动画适合于静态表情图像的生成，动态的人脸姿态和眼睛动作模拟比较困难。鉴于2D表情动画的限制，越来越多的研究人员将人脸动画的实现转换成三维网格的处理。对于基于图像的三维人脸重建，根据输入图像的数据不同，可分为基于单张图像、基于两张图像、基于多张图像、基于视频的人脸重建，在使用时选用哪种方式主要由应用场合的要求和可获得的图像数量决定。其中，基于单张图像的三维人脸重建由于所需数据少、人机接口简单等特点，更宜于应用在商业产品中，如三维游戏中的个性化置入，通过采集玩家的单张人脸图像，重建其三维人脸模型并置入到游戏角色上，可以增强玩家的沉浸感。

目前从单张人脸图像重建三维人脸的方法，使用最多的有两大类。一类是基于标准模型变形的方法，即从图像中提取人脸的个性化信息(多为关键点信息)，根据这些个性化信息将一个标准人脸模型变形为个性化的人脸模型。在模型变形时没有人脸的先验知识，因而这种方法的真实感不强，容易导致非人脸的产生。第二类方法是基于形变模型的方法，即从真实扫描的人脸模型建立人脸的形变模型，通过拟合输入图像，得到人脸的形状与纹理。这种方法可以得到具有真实感的重建结果，缺点是计算量很大，而且无法完全自动化。

为了驱动三维人脸模型进行表情动画，比较常见的方法有三类。第一大类是基于MPEG-4标准的表情动画方法，其定义了几种常见表情下特征点的运动路径，虽然简单，但缺陷是生成的表情不够真实。为了生成真实感很强的表情，第二大类是基于表情克隆的方法，通过扫描获得带表情的三维人脸模型，将该表情映射到目标人脸模型上；这类方法能够生成细微的表情，缺点是每个顶点均需要映射处理，计算量大导致无法实时处理。第三大类是基于关键帧的插值技术，这在影视制作中比较常见，预先设计人脸的三维表情，过渡帧通过插值来获得；对于每一个人脸模型均需要重新设计其关键帧表情，并且需要专业美工人员的配合。

发明内容

本发明提供了一种基于单张照片的人脸动画方法，从单张正面人脸照片，可以基本自动、鲁棒、快速地重建具有真实感的三维人脸模型，然后自动生成个性化的人脸动画。

为了实现上述目的，本发明提出如下的技术方案：

(1)利用三维扫描仪采集真实的三维人脸数据，进行规整化处理，对规整化的形状进行主成分分析，得到人脸的形变模型(本步离线完成)；

(2)利用Adaboost自动检测人脸在图像中的位置，利用主动外观模型自动定位人脸上的关键点；

(3)根据人脸关键点和形变模型，恢复人脸的形状参数和姿态参数，从而得到人脸的三维形状；

(4)添加眼睛和牙齿网格，对重建人脸网格进行扩展使其包含背景信息，从而获得包含完整照片信息的三维网格；

(5)纹理映射后得到完整的三维人脸模型；

(6)利用人脸样本模型制作一段人脸动画数据，定义样本模型上73个关键点的运动轨迹作为源稀疏动画数据(本步离线完成)；

(7)利用径向基函数调整源动画数据的运动幅度和方向，获得与重建人脸相匹配的动画数据；

(8)利用球面参数化计算顶点的重心坐标，插值获得每个顶点的动画数据；

(9)自动模拟眼球的转动和眨眼的动作。

本发明的优点是：

1.通用性强，易操作。只需要提供单张正面人脸照片，用户基本无需其他操作，因此具有良好的适用性。

2.可以实现自动的人脸建模。大部分情况下，主动外观模型可以得到足够准确的关键点，对于少数特殊脸型，主动外观模型定位的关键点不够准确，只需对关键点做少量的手工调整。

3.人脸重建过程鲁棒、真实感强、速度快。对于Pentium4 2.8G的计算机，人脸重建可在2秒钟内完成。

4.人脸建模完成后，可以实现全自动的人脸动画，特别是可以获得逼真的眼睛动画效果。

附图说明

图1为本发明的人脸模型示意图，图中1.平均人脸的网格，2.眼球网格，3.牙齿网格。