[发明专利]高速高保真面部跟踪

说明书

一种电子设备通过基于面部模型网格的被估计为从深度相机的视点可见的顶点而将生成面部模型网格拟合到深度图来估计面部的姿态。所述电子设备的面部跟踪模块从深度相机接收面部的深度图像并且基于所述深度图像来生成所述面部的深度图。所述面部跟踪模块通过将面部模型网格拟合到深度图的像素来识别所述面部的姿态，所述深度图的像素对应于所述面部模型网格的被估计为从所述深度相机的视点可见的顶点。

技术领域

本公开一般地涉及影像捕获和处理并且更具体地涉及使用捕获的影像的面部跟踪。

背景技术

面部跟踪允许面部表情和头部移动被用作用于虚拟现实和增强现实系统的输入机制，从而支持更沉浸式用户体验。常规的面部跟踪系统捕获用户的面部的图像和深度数据并且将生成模型拟合到所捕获的图像或深度数据。为了将该模型拟合到所捕获的数据，面部跟踪系统定义并优化能量函数以找到对应于正确的面部姿态的最小值。然而，常规的面部跟踪系统通常具有可导致不令人满意的用户体验的准确性和等待时间问题。

附图说明

通过参考附图，可以更好地理解本公开，并且其许多特征和优点对于本领域的技术人员而言变得显而易见。在不同的附图中使用相同的附图标记指示类似或相同的项目。

图1是图示依照本公开的至少一个实施例的基于深度图像来估计面部的当前姿态的面部跟踪系统的图。

图2是图示依照本公开的至少一个实施例的被配置成基于深度图像来估计面部的当前姿态的图1的面部跟踪系统的面部跟踪模块的图。

图3是图示依照本公开的至少一个实施例的估计面部模型网格的顶点的可见性的图。

图4是图示依照本公开的至少一个实施例的估计面部的姿态的方法的流程图。

具体实施方式

以下描述旨在通过提供许多具体实施例和细节来传达对本公开的透彻理解，所述许多具体实施例和细节涉及通过基于面部模型网格的被估计为从深度相机的视点可见的顶点而将生成面部模型网格拟合到深度图来估计面部的姿态。然而，应理解的是，本公开不限于仅作为示例的这些具体实施例和细节，并且本公开的范围因此旨在仅受到以下权利要求及其等同物限制。应进一步理解的是，本领域的普通技术人员鉴于已知的系统和方法将取决于具体设计和其它需要而领会本公开出于其预定目的和益处在任何数目的替代实施例中的用途。

图1至图4图示用于通过基于面部模型网格的被估计为从深度相机的视点可见的顶点而将生成面部模型网格拟合到面部的深度图来估计面部的姿态的技术。面部跟踪模块从深度相机接收面部的深度图像并且基于该深度图像生成面部的深度图。面部跟踪模块通过将面部模型网格拟合到深度图的像素来识别面部的姿态，所述深度图的像素对应于面部模型网格的被估计为从深度相机的视点可见的顶点。面部跟踪模块通过假定面部模型网格很大程度上是凸的(即，面部模型网格比不凸更凸)来估计面部模型网格的哪些顶点从深度相机的视点可见。在一些实施例中，面部跟踪模块通过估计垂直于面部模型网格的每个顶点的矢量面向或者背离深度相机的程度来估计面部模型网格的哪些顶点从深度相机的视点可见。通过仅包括面部模型网格的被估计为可见的顶点，面部跟踪模块不关联面部模型网格的与深度图像的关联不应该存在的那些顶点(即，对于从深度相机的视点不可见的顶点)。排除这样的顶点改进面部姿态估计的准确性，因为如果包括那些顶点，则用于估计姿态的能量函数将变得不准确，因为能量函数会将高能量指派给正确的姿态。

在一些实施例中，通过指示如何非刚性地使面部模型网格的顶点变形以拟合深度图的一组身份和表情系数来参数化面部模型网格。在一些实施例中，面部跟踪模块双三次内插深度图以使像素边界处的交点平滑。面部跟踪模块调整身份和表情系数以与深度图更好地匹配。面部跟踪模块然后基于面部模型网格的每个可见顶点到深度图的距离来使能量函数最小化以识别最紧密地接近面部的姿态的面部模型网格。