[发明专利]面部上的透视缩短失真校正

权利要求书

1.一种用于校正图像中的面部上的透视缩短失真的方法，所述方法包括：

生成由相机捕获的输入图像中的对象的深度图；

基于所述深度图，在所述输入图像上生成翘曲网格以用于校正所述透视缩短失真；以及

根据所述翘曲网格来翘曲所述输入图像，以提供与所述输入图像相比具有减少的透视缩短失真的输出图像。

2.根据权利要求1所述的方法，其中，生成所述深度图包括：

利用来自所述输入图像的所述对象的面部来拟合三维面部模型；以及

使用所拟合的三维面部模型在所述相机的视点处渲染所述深度图。

3.根据权利要求1或权利要求2所述的方法，其中，生成所述深度图包括：

检测所述输入图像中的所述对象上的界标集合；

调整通用三维面部模型来采纳检测到的界标集合，以提供经调整的面部模型，从而提供具有所述对象的所述面部的经调整的3D面部模型；

输出所述经调整的3D面部模型。

4.根据权利要求3所述的方法，还包括：

通过移除在所述经调整的3D面部模型的面部区域之外的一个或多个特征来细化所述经调整的3D面部模型，以提供细化的3D面部模型；

平滑所述细化的3D面部模型以移除由所述细化引起的锐利轮廓；以及

根据所平滑的3D模型来将所述深度图光栅化。

5.根据权利要求4所述的方法，其中，移除所述一个或多个特征包括：从所述经调整的3D面部模型移除以下中的一个或多个：耳朵、面部的背面和颈部。

6.根据前述权利要求中的任一项所述的方法，其中，生成所述翘曲网格包括：

在所述输入图像上放置二维2D栅格，所述2D栅格具有多个顶点；

对于所述多个顶点中的与所述输入图像中的所述对象的面部区域相对应的每个顶点，基于所述深度图和相机几何特性来将所述输入图像上的对应点进行前向投影；以及

选择所述面部区域的中心作为重新投影中心，以维持所述对象在所述面部区域中所佩戴的一个或多个物体的形状。

7.根据权利要求6所述的方法，其中，所述前向投影包括：

确定所述对象在所述输入图像中的注视方向；

基于所述注视方向在所述相机下方，将虚拟相机放置在比所述相机低的位置处；以及

向上倾斜所述虚拟相机以使得所述翘曲的结果朝向所述相机改变所述注视方向。

8.根据权利要求6或权利要求7所述的方法，还包括采用能量函数以用于：

均匀地在局部分布所述多个顶点；

使所述面部区域中的每个顶点符合所述对应点；

减少与所述面部区域的轮廓相邻的顶点的翘曲；以及

防止所述面部区域外的顶点的翘曲。

9.根据权利要求8所述的方法，其中，所述能量函数包括面部项，并且所述方法还包括通过以下操作来确定所述面部项：

对与所述面部区域的轮廓相邻的顶点应用比其他权重更低的权重，所述其他权重被应用于所述面部区域内的不与所述轮廓相邻的顶点；以及

允许将所述面部区域内的所述顶点作为群组统一地进行平移和缩放。

10.根据权利要求8或权利要求9所述的方法，其中，所述能量函数包括正则化项，并且所述方法还包括通过以下操作来确定所述正则化项：

在所述翘曲网格之外添加填充的顶点；以及

裁剪所述填充的顶点以减少接近所述输入图像的边界的伪影。

11.根据权利要求10所述的方法，其中，还通过以下操作来确定所述正则化项：

惩罚所述翘曲网格的变形方向以减少所述翘曲网格中的相邻连接的定向的变化；以及

减少所述面部区域的边界上的顶点上的权重。