[发明专利]高速高保真面部跟踪

权利要求书

1.一种用于面部跟踪的方法，包括：

在深度相机处捕获面部的深度图像，所述深度图像包括含有多个点的三维3D点云；

在处理器处基于所述3D点云来生成所述面部的深度图，所述深度图包括多个像素；以及

在所述处理器处通过将包括多个顶点的面部模型网格拟合到所述深度图来估计所述面部的姿态，所述拟合包括：

估计所述面部模型网格的哪些顶点从所述深度相机的视点可见，其中，所述估计包括：假定所述面部模型网格在很大程度上是凸的，并且进一步包括：估计与所述面部模型网格的每个顶点垂直的矢量面向或者背离所述深度相机的程度；以及

基于从所述深度图的每个像素到所述面部模型网格的所述顶点的子集中的对应顶点的距离来使能量函数最小化，所述子集仅包括被估计为从所述深度相机的视点可见的顶点。

2.根据权利要求1所述的方法，其中，所述面部模型网格通过表情权重来参数化，所述表情权重指示如何非刚性地使所述面部模型网格的顶点变形以将所述面部模型网格拟合到所述深度图，并且其中，识别所述面部的姿态包括：调整所述表情权重。

3.根据权利要求1或权利要求2所述的方法，其中，所述面部模型网格通过身份系数来参数化，所述身份系数指示如何非刚性地使所述面部模型网格的顶点变形以将所述面部模型网格拟合到所述深度图。

4.根据权利要求1或权利要求2所述的方法，进一步包括：双三次地内插与所述深度图像相关联的所述深度图的像素。

5.根据权利要求1或权利要求2所述的方法，进一步包括：基于所述深度图的平均深度和所述深度相机的焦距来使所述姿态估计与面部界标的估计之间的差异正则化。

6.一种电子设备，包括：

面向用户的深度相机，所述面向用户的深度相机用于捕获用户的面部的深度图像，每个深度图像包括含有多个点的三维3D点云；以及

处理器，所述处理器被配置成：

基于所述3D点云来生成所述面部的深度图，所述深度图包括多个像素；以及

通过将包括多个顶点的面部模型网格拟合到所述深度图来估计所述面部的姿态，所述拟合包括：

估计所述面部模型网格的哪些顶点从所述深度相机的视点可见，其中，所述估计包括：假定所述面部模型网格在很大程度上是凸的，并且进一步包括：估计与所述面部模型网格的每个顶点垂直的矢量面向或者背离所述深度相机的程度；以及

基于从所述深度图的每个像素到所述面部模型网格的所述顶点的子集中的对应顶点的距离来使能量函数最小化，所述子集仅包括被估计为从所述深度相机的视点可见的顶点。

7.根据权利要求6所述的电子设备，其中，所述面部模型网格通过表情权重来参数化，所述表情权重指示如何非刚性地使所述面部模型网格的顶点变形以将所述面部模型网格拟合到所述深度图，并且其中，识别所述面部的姿态包括：调整所述表情权重。

8.根据权利要求6或权利要求7所述的电子设备，其中，所述面部模型网格通过身份系数来参数化，所述身份系数指示如何非刚性地使所述面部模型网格的顶点变形以将所述面部模型网格拟合到所述深度图。

9.根据权利要求6或权利要求7所述的电子设备，还包括：双三次地内插与所述深度图像相关联的所述深度图的像素。

10.根据权利要求6或权利要求7所述的电子设备，其中，所述处理器进一步被配置成基于所述深度图的平均深度和所述深度相机的焦距来使所述姿态估计与面部界标的估计之间的差异正则化。