[发明专利]由2D图像实现3D人脸重建

说明书

相关申请的交叉参考

本申请要求于2006年1月31日递交的美国临时申请60/764,007的优先 权。在先申请的内容认为是本申请的一部分(或并入其内容作为参考)。

联邦政府支持的研究或发展

美国政府可以依照授权NO.HMI-582-04-1-2002对本发明有一定的权利。

背景技术

传统的人脸重建技术经常用人脸的一个或多个二维图像(例如数字照片) 来创建脸部的一个三维表述。依此创建的表述可以是表示不同人脸的个体特征 的文件，例如电子文件。所述文件可以用于，例如面部识别，动画的制作或者 渲染。

该图像一旦被获取，就经常在先前知识或人脸通常看上去是什么样子的假 定基础上进行处理。这种知识经常被称为“领域知识”，一种“先前模型”， 或者尤其是一种“一般人脸”。例如，先前人脸知识可以显示不同种类的面部 特征，比如眼睛、鼻子等等的当前位置或者可能的位置。先前人脸知识是由可 以假定人脸是由人脸的基本形状和外观、照相机参数、光参数、以及其他已知 元素，或易于估计的元素等的一种线性组合形成的。这些元素可以被组合来估 计人脸可能的外貌。此外，领域知识可以由艺术家定义的一般人脸形状或由多 个已知的人脸计算出的平均人脸形状的形式参与。

在整个重建的过程中，人脸重建的普通技术利用一般人脸的先前知识，和 可能的一组人脸度量或形变参数。另外一种普通的技术尝试避开先前人脸知识 的使用，而是使用纯粹的数据驱动的方法来实现人脸重建。这是可以实现的， 例如，利用从多个校准照相机得到的多个图像中的二维要点的三角法测量。不 幸的是，由于在整个重建过程中利用了一般人脸，前者的方法可能提供不现实 的数据。后者的方法需要额外的硬件构造，而该硬件构造在一个合理的成本下 事实上很难实现。单一照相机纯粹数据驱动的方法缓解了多视角立体方法的硬 件约束，但是它自身可能会由于在处理的阶段中缺乏约束而不稳定。

技术概要

本申请描述了利用辅助技术获取三维人脸信息的技术。根据一些方面，在 处理操作过程中，在一些部分利用人脸结构的先前知识，而处理操作过程中的 其他部分则是纯粹的数据驱动。

另外一种操作利用单一照相机，以进行从一组二维图像得到三维信息的确 定。

附图的简要说明

图1所示为操作的总体流程图；和

图2所示为实现流程图的通用目标计算机；

图3所示为三维人脸跟踪是如何由一般人脸辅助的；

图4A和4B显示了分别嵌入在圆柱形空间和展开的三角形空间中的密集的 三维特征。

具体实施方式

在此，将描述能够用来实现更多总体目标的不同方法的总体的结构和技 术，以及更详细的实施例。

本发明涉及一种确定物体，例如人脸的三维信息的方法。尽管本发明的具 体实施例参考人脸的三维重建和绘图来描述，但是应该可以理解的是这些相同 的技术可以用于重建和绘图任何物体的多个视图。当用于人脸时，由在此揭示 的技术生成的三维信息可用于任何基于人脸的应用，如动画片的制作，识别， 以及绘图。在此描述的技术，可能比更多依赖于一般人脸的先前知识的其他技 术更实际可行。

本发明人承认使用强大的人脸外貌的先前知识来重建人脸的先前的系统， 有效地量化了用于构成和渲染人脸的基础形状的数目。强大的先前知识或者一 般人脸方法，被施加的先前知识或者一般人脸所提供的自由度有效地限制。因 此，信息和之后的重建并没有捕获原始人脸的所有精细的细节。

所述“人脸空间”量化是由于先前知识和相关的转换限制了能够被系统重 建的所有可能人脸的空间而产生。一般人脸或者基于纯粹先前知识的方法可能 没有足够的自由度来覆盖整个人脸空间。

本实施例通过忽视先前人脸知识或者在处理过程关键点的一般人脸约束来 捕获精细的人脸细节，而不是依靠利用数据驱动方法来寻找在此被称为密集特 征的人脸细节的数据。数据驱动方法需要大量的数据来有效地处理噪音、测量 的不可靠性和孤立点(outliers)。然而，本发明的系统没有利用纯粹的数据驱 动方法，而且由一体化的先前人脸知识或者一般人脸的方法所辅助。