[发明专利]真实感3D人脸重建的方法

说明书

技术领域

本发明属于计算机视觉领域，更具体地讲，涉及真实感三维人脸重建。

背景技术

由于TOF(飞行时间)系统装置中的封闭、几何限制或不利的面反射特性，光学捕获装置经常产生噪声和不完整的3D(三维)人脸数据集合。此外，通过具有不同角度的不同装置捕获2D(二维)彩色图像和深度图像，因此2D彩色图像和深度图像不对齐。

现有论文、专利讲述如何真实感三维人脸重建都是只基于图像或者视频，例如，申请号US6532011、US74151152、US7355607和US7289648的专利申请涉及的真实感三维人脸重建只基于图像，而申请号US7103211、US6664956、US7146028、US7139439和US7212656的专利申请涉及的真实感三维人脸重建只基于视频，这样的重建速度慢，重建的形状效果也不好。其主要问题就是形状不够真实，经常只用通用的模型来代替个性的形状，然后将个性的二维纹理信息贴到这种通用的三维的人脸形状。因此，需要一种能够重建真实感更强的三维人脸图像的方法。

发明内容

为了能更好地重建出真实感的三维形状，本发明利用深度信息首先进行真实感的形状重建，然后再将二维的纹理信息与三维形状进行对齐，将对齐后的二维纹理和形状进行贴图和匹配。

在本发明中，我们提出了一种新的方法：通过使用统计人脸模型以获得丢失数据的区域的几何模型，通过分别拟合2D统计模型和3D统计模型来建立2D图像和3D人脸形状之间的人脸特征点的对应关系，来从这种不完整且不对齐的人脸图像获得完整且一致的3D彩色人脸图像。2D图像和3D图像的人脸特征点被分别三角剖分，并且2D彩色图像和3D形状图像之间的对应三角面片被设置。通过使用该对应三角面片来将2D彩色图像映射到3D形状。通过精细3D形状和映射的人脸纹理来表示3D彩色人脸。

根据本发明的一方面，提供一种3D图像重建的方法，包括步骤：使用输入深度图像进行3D形状重建；将输入2D图像的纹理信息与所述重建的3D形状进行对齐，并将2D图像的纹理映射到3D形状上，以产生重建的3D图像。

根据本发明的另一方面，提供一种真实感3D人脸重建的方法，包括步骤：(a)使用输入的人脸深度图像进行3D人脸形状重建；(b)对输入的2D人脸图像进行2D人脸拟合；(c)将拟合的2D人脸图像的纹理信息与所述重建的3D人脸形状进行对齐，并将2D人脸图像的纹理映射到3D人脸形状上，以产生重建的3D图像。

附图说明

图1是描述根据本发明示例性实施例的真实感3D人脸重建方法的流程图；

图2是根据本发明示例性实施例的3D人脸形状重建的详细流程图；

图3A是显示通过利用输入的小分辨率的人脸强度图像构建2D人脸模型的详细过程的流程图，图3B是显示对输入的人脸强度图像进行拟合的详细流程图；

图4是显示构建的基于大尺度特征的AAM模型的示图；

图5是显示构建的基于小尺度特征的AAM模型的示图；

图6是显示对输入的2D人脸图像进行2D人脸拟合的详细过程的流程图；

图7是显示将拟合后的2D人脸图像的纹理信息与所述重建的3D人脸形状进行对齐的详细流程图；

图8A是根据现有技术(从一个2D彩色图像)重建的3D人脸图像的示例，图8B是根据本发明重建的真实感3D人脸图像示例；

图9是示出α和β与角和边缘的关系的示图；

图10是通过将与轴的角加倍来作出角和边缘的示图；

图11A-11C是示出构建基于特征的模型的效果图，其中，图11A是原始人脸图像，图11B是包括边缘图像和角图像的人脸特征图像，图11C是通过AAM训练后的模型；

图12是显示将二维纹理三角面片与三位人脸形状上的三角面片映射的示图。

具体实施方式

为了有助于对本发明的示例性实施例的描述和理解，现描述本发明中所使用的术语、技术和算法：

3D形状模型的建立：

形状向量的定义基于参考人脸，参考人脸可以是任意3D人脸模型。本发明的参考人脸，是具有来自于TOF系统的顶点的点云(即，深度图像)。此点云的顶点k∈{1，...，n}可位于Cartesian坐标中的(x_k，y_k，z_k)。随后，可通过下面的等式(1)来定义形状向量：