[发明专利]面部上的透视缩短失真校正

说明书

本文档描述能够实现面部上的透视缩短失真校正的技术和系统。所述技术和系统包括电子设备(102)，其生成由相机(118)捕获的输入图像(302)中的对象的深度图(304)。基于深度图，电子设备(102)在输入图像(302)上生成翘曲网格(306)以用于校正透视缩短失真。然后，电子设备(102)根据翘曲网格(306)翘曲输入图像(302)以提供与输入图像(302)相比具有减少的透视缩短失真的输出图像(308)。

背景技术

利用手持电子设备为自己拍摄的照片被称为“自拍”。因为利用手持相机在臂长度处捕获自拍，所以捕获的图像经常看起来与本人不同。值得注意的是，人的鼻子可能看起来更大，并且人的面部可能表现出令人不愉快的鱼眼效应。这个问题被称为透视缩短失真(foreshortening distortion)，并且是由相机和用户的面部之间的短距离引起的。专业摄影师通过在距对象更远的距离(例如三米或更大)处使用长焦距相机(例如150mm或更大)来避免透视缩短失真。然而，当诸如智能电话的手持设备用于近距离成像时，这些解决方案都不适用于这些手持设备。

发明内容

本文档描述了能够实现面部上的透视缩短失真校正的技术和系统。这些技术包括基于图像的方案，其利用图像中的面部区域上的深度代理(例如，深度图)并且计算最优翘曲(warp)以在更大焦距处前向投影(forward project)面部。给定自拍和期望焦距作为输入，这些技术输出新自拍图像，就好像面部是由相机以更大焦距捕获的一样。

根据一个方面，提供一种用于校正图像中的面部上的透视缩短失真的方法，所述方法包括：生成由相机捕获的输入图像中的对象的深度图；基于所述深度图，在所述输入图像上生成翘曲网格以用于校正所述透视缩短失真；以及根据所述翘曲网格翘曲所述输入图像，以提供与所述输入图像相比具有减少的透视缩短失真的输出图像。

该方法还可以包括以下可选特征。生成所述深度图可以包括：利用来自所述输入图像的所述对象的面部拟合三维面部模型；以及使用所拟合的三维面部模型在所述相机的视点处渲染所述深度图。生成所述深度图可以包括：检测所述输入图像中的所述对象上的界标集合；调整通用三维面部模型以采纳检测到的界标集合提供经调整的面部模型，从而提供具有所述对象的所述面部的经调整的3D面部模型；输出经调整的3D面部模型。该方法还可以包括：通过移除在所述经调整的3D面部模型的面部区域之外的一个或多个特征来细化所述经调整的3D面部模型以提供细化的3D面部模型；平滑所述细化的3D面部模型以移除由所述细化引起的锐利轮廓；以及根据所平滑的3D模型光栅化所述深度图。移除所述一个或多个特征可以包括从所述经调整的3D面部模型移除以下中的一个或多个：耳朵、面部的背面、和颈部。生成所述翘曲网格可以包括：在所述输入图像上放置二维2D栅格，所述2D栅格具有多个顶点；对于所述多个顶点中的、与所述输入图像中的所述对象的面部区域相对应的每个顶点，基于所述深度图和相机几何特性(camera geometry)将所述输入图像上的对应点前向投影；以及选择所述面部区域的中心作为重新投影中心以维持所述对象在所述面部区域中所佩戴的一个或多个物体的形状。所述前向投影可以包括：确定所述对象在所述输入图像中的注视方向；基于所述注视方向在所述相机下方，将虚拟相机放置在比所述相机低的位置处；以及向上倾斜所述虚拟相机以使得所述翘曲的结果朝向所述相机改变所述注视方向。该方法还可以包括采用能量函数：均匀地局部分布所述多个顶点；使所述面部区域中的每个顶点符合所述对应点；减少与所述面部区域的轮廓相邻的顶点的翘曲；并且防止所述面部区域外的顶点的翘曲。能量函数可以包括面部项，并且所述方法还可以包括通过以下操作确定所述面部项：对与所述面部区域的轮廓相邻的顶点应用比其他权重更低的权重，所述其他权重被应用于所述面部区域内的不与所述轮廓相邻的顶点；以及允许将所述面部区域内的所述顶点作为群组统一地进行平移和缩放。能量函数可以包括正则化项，并且所述方法还可以包括通过以下操作确定所述正则化项：在所述翘曲网格之外添加填充的顶点；以及裁剪所述填充的顶点以减少接近所述输入图像的边界的伪影。正则化项还可以通过以下操作来确定：惩罚所述翘曲网格的变形方向以减少所述翘曲网格中的相邻连接的定向的变化；以及减少所述面部区域的边界上的顶点上的权重。所述输入图像可以由所述相机在距所述对象的第一距离处捕获；并且输出图像可以表现为如同输出图像是由所述相机在距所述对象比所述第一距离更大的距离处捕获。该方法还可以包括将所述输出图像存储为所捕获的图像。所述相机可以与手持式电子设备集成。