[发明专利]用来捕捉面部和身体动作的系统和方法

说明书

相关申请的交叉引用

本申请要求根据35 U.S.C.§120的优先权，作为于2003年5 月1日提交的题为“System and Method for Capturing Facial and Body Motion.”的美国专利申请序列号10/427,114的部分延续。

技术领域

本发明涉及三维图形和动画，并且更具体地说，涉及动作捕捉系 统，该系统在能够包含多个行动者的容积(volume)里面能够同时 捕捉面部和身体动作。

背景技术

动作捕捉系统被用来捕捉实物的运动并且将它映射到计算机产 生的物体上。在运动画面和视频游戏的制作中经常使用这样的系统 来生成人的数字表示，该人的数字表示被用作产生计算机图形(CG) 动画的源数据。在典型系统中，行动者穿着具有附着在各个位置的 标志(例如具有附着到身体和四肢的反射标志)的衣服，并且数字 摄像机在照亮这些标志的同时从不同的角度记录行动者的运动。然 后该系统分析这些图像以确定在每一帧中行动者的衣服上的标志的 位置(例如按空间坐标)和方向。通过跟踪这些标志的位置，该系 统创建这些标志随时间的空间表示并且建立运动中的行动者的数字 表示。然后，该运动可以应用于数字模型，其然后可以被构造和再 现以制作行动者和/或行为的完整的CG表示。该技术已经被特技效 果公司用来在许多流行电影中制作非常逼真的动画。

动作捕捉系统也被用来跟踪行动者的面部特征的动作以产生行 动者的面部动作和表情(例如笑、哭、微笑等)的表示。与身体动 作捕捉一样，标志被附着到行动者的面部上并且摄像机记录行动者 的表情。因为与身体运动所涉及的较大的肌肉相比面部运动涉及相 对小的肌肉，因此面部标志一般比相应的身体标志小得多，并且这 些摄像机一般具有比通常用来捕捉身体运动的摄像机高的分辨率。 这些摄像机一般与行动者的身体移动在共同的平面内排成直线，所 述行动者的身体移动被限制以使这些摄像机聚焦在行动者的面部 上。面部动作捕捉系统可以被并入物理地附着到行动者的头盔或其 他工具中以便均匀地照射面部标志并且使摄像机和面部之间的相对 运动程度最小化。为此，通常在分开的步骤中捕捉面部动作和身体 动作。然后结合捕捉的面部动作数据和稍后捕捉的身体动作数据作 为随后的动画过程的一部分。

动作捕捉系统优于传统的动画技术例如关键帧(keyframing)的 优点是能够实时可视化。制作团队可以实时或接近实时地回顾行动 者的动作的空间表示，使行动者能够改变身体行为以便捕捉最优的 数据。此外，动作捕捉系统检测身体移动的精妙细微的差别，其不 容易利用其他的动画技术来再现，由此产生更精确地反映自然运动 的数据。因此，利用使用动作捕捉系统收集的源材料产生的动画将 呈现更逼真的景象。

虽然动作捕捉系统有这些优点，但是分开捕捉面部和身体动作经 常会导致并不真实地逼真的动画。面部动作和身体动作不可避免地 相关联，使得面部表情经常被相应的身体动作增强。例如，行动者 可以利用某种身体动作(即身体语言)来交流感情和强调相应的面 部表情，例如在兴奋地谈话时利用手臂摆动或在生气时耸肩。当分 开地捕捉动作时会失去面部动作和身体动作之间的这种联系，并且 难以使这些分开捕捉的动作吻合在一起。当面部动作和身体动作被 结合时，最后所得的动画经常会看起来明显不正常。因为动作捕捉 的目的是能够形成格外逼真的动画，因此面部和身体动作的分离说 明了常规动作捕捉系统的重大缺陷。

常规动作捕捉系统的另一缺点是行动者的动作数据有可能被其 他对象例如道具或其他行动者的干扰所遮蔽。特别地，如果身体或 面部标志的一部分从数字摄像机的视场被遮住，则涉及该身体或面 部部分的数据就不会被收集。这导致动作数据中的遮掩或缺陷。虽 然稍后在后期制作过程中可以利用常规的计算机制图技术填补该遮 掩，但是该填补数据缺少实际动作数据的质量，导致能够被观看的 观众识别的动画缺陷。为避免该问题，常规动作捕捉系统限制一次 能够捕捉的对象的数目例如为单个行动者。这也易于使动作数据看 起来不那么逼真，因为行动者的行为质量经常取决于与其他行动者 和对象的相互作用。此外，难以以看起来自然的方式将这些独立的 行为结合在一起。