[发明专利]为计算机图形动画制作跟踪面部肌肉和眼睛运动的系统和方法

说明书

相关申请数据

本专利申请依据35U.S.C.§119(c)要求如下临时专利申请的优先权：(a)2004年10月4日提交的序列号60/616,049标题为“捕捉面部和眼睛运动的系统和方法”(SYSTEM AND METHOD FORCAPTURING FACIAL AND EYE MOTION)；以及(b)2004年10月1日提交的序列号＿＿＿＿标题为“在无视觉面部脸部捕捉的情况下跟踪面部特征移动”(TRACKING OF FACIAL FEATUREMOVEMENTS WITHOUT VISUAL FACE CAPTURE)。

技术领域

本发明涉及三维图形和动画，更具体地说，涉及不使用摄像机而能够捕捉表演者的面部和眼睛运动以在制作计算机图形动画中使用的运动跟踪系统。

背景技术

使用运动捕捉系统捕捉真实对象的运动，并将其映射到计算机生成的对象上。此类系统常常应用于运动图片和视频游戏的制作中以创建用作创建计算机图形(CG)动画的源数据的人的数字表示。在典型的系统中，表演者穿戴具有附着在不同位置的标记器(例如具有附着于身体和肢体的小反应式标记器)的套装，并且数字摄像机在照射这些标记器时从不同角度记录表演者的移动。系统然后分析图像以确定表演者套装上的标记器在每个帧中的位置(例如作为空间坐标)和方向。通过跟踪标记器的位置，系统创建不同时间上标记器的空间表示，并构建运动中的表演者的数字表示。然后将该运动应用于数字模型，然后对其施加纹理和渲染以制作演员和/或表演的完成CG表示。这种技术已被特殊效果公司用于在许多流行电影中制作令人难以置信的逼真动画。

运动捕捉系统还用于跟踪演员的面部特征的运动以创建演员的面部运动和表情(例如大笑、哭、微笑等)的表示。与身体运动捕捉一样，将标记器附着于演员的面部，并且摄像机记录演员的表情。因为较之身体移动中所涉及的更大肌肉，面部移动涉及相对较小的肌肉，所以面部标记器通常远小于对应的身体标记器，并且摄像机通常比常常用于身体运动捕捉的摄像机具有更高分辩率。通常将摄像机与演员的物理移动共平面对齐，同时限定保持摄像机聚焦于演员的面部上。可以将面部运动捕捉系统集成在头盔或物理附着于演员的其他装备中，以便统一地照射面部标记器并将摄像机与面部之间的相对移动的程度将至最小。

运动捕捉系统相对于传统动画技术(例如关键帧处理)的优点在于能够实现实时可视化。制作团队可以实时地或接近实时地复查表演者的运动的空间表示，从而使演员能够改变物理表现以便捕捉最优数据。而且，运动捕捉系统检测使用其他动画技术无法容易再现的物理移动的细微差异，由此获得更精确地反映自然移动的数据。作为结果，利用采用运动捕捉系统收集的源材料创建的动画将展现出更生动的外观。

尽管运动捕捉系统有这些优点，常规运动捕捉系统的缺点是它们无法捕捉眼睛运动。因为标记器无法贴附于表演者的眼睛，所以运动捕捉摄像机检测不到眼睛移动。然后必须在后续CG动画过程中添加此眼睛移动。除了使得动画过程更麻烦外，所产生的动画产品欠缺逼真性，因为它无法包括表演期间产生的细微眼睛移动。

依赖于摄像机的常规运动捕捉系统的另一个缺点在于，因与例如道具或其他演员的其他对象的干扰而可能遮挡表演者的运动数据。确切地说，如果身体或面部标记器的一部分被阻挡在数字摄像机的视场外，则收集不到有关该身体或面部部分的数据。这导致运动数据中的遮挡或空洞。虽然可以在稍后后期制作期间使用常规计算机图形技术填补遮挡，但是填补数据欠缺实际运动数据的质量，从而导致可被观众识别出的动画缺陷。为了避免此问题，常规运动捕捉系统限制了可以一次性捕捉的对象的数量，例如限于一个表演者。这还往往使运动数据看上去不够逼真，因为表演者的表演的质量常常取决于与其他演员和对象的互动。而且，难以将这些分离的表演以看上去自然的方式组合在一起。

在娱乐业界之外，有许多其他情况，期望捕捉或跟踪面部肌肉和/或眼睛移动，而不会有对光学摄像机的依赖。例如，自动语音识别设备、门禁系统、用于个人简档和/或医疗/牙医筛选系统的电子存储和检索系统均可以利用此类分析技术。利用面部特征分析的语音识别系统可以在难以单独使用声音语音识别的噪声环境(例如军用飞机上或工厂里)中得以广泛的应用。这些潜在应用的每个环境目前欠缺用于精确地将个人面部特征转换成有用的电子数据的有效部件。在此人相对于检测设备不断改变面部朝向的情况中尤其存在问题。