[发明专利]真实感3D人脸重建的方法

权利要求书

1.一种3D图像重建的方法，包括步骤：

使用输入深度图像进行3D形状重建；

将输入2D图像的纹理信息与所述重建的3D形状进行对齐，并将2D图像的纹理映射到3D形状上，以产生重建的3D图像。

2.一种真实感3D人脸重建的方法，包括步骤：

(a)使用输入的人脸深度图像进行3D人脸形状重建；

(b)对输入的2D人脸图像进行2D人脸拟合；

(c)将拟合的2D人脸图像的纹理信息与所述重建的3D人脸形状进行对齐，并将2D人脸图像的纹理映射到3D人脸形状上，以产生重建的3D图像。

3.如权利要求2所述的方法，其中，步骤(a)还包括：

利用输入的人脸深度图像建立3D形状模型；

利用与所述输入的人脸深度图像在同样成像条件下拍摄的2D人脸图像构建2D人脸模型，并对所述拍摄的2D人脸图像进行拟合；

在拟合的2D人脸图像中找到相应的人脸关键点的位置；

使用找到的人脸关键点的位置坐标作为建立的3D形状模型拟合的初始化位置，并对建立的3D形状模型进行3D形状拟合。

4.如权利要求3所述的方法，其中，在对建立的3D形状模型进行3D形状拟合的步骤中，先使用ICP算法对3D形状模型进行刚体拟合，随后使用随机牛顿算法对3D形状模型进行形状参数拟合。

5.如权利要求3所述的方法，其中，在利用与所述输入的人脸深度图像在同样成像条件下拍摄的2D人脸图像构建2D人脸模型的步骤中，使用该2D人脸图像的梯度信息、边缘信息和角信息来构建2D人脸模型。

6.如权利要求2所述的方法，其中，步骤(a)中的输入的人脸深度图像是小分辨率的，步骤(b)中的输入的2D人脸图像是大分辨的。

7.如权利要求6所述的方法，其中，步骤(b)还包括：

利用输入的大分辨率2D人脸图像构建2D人脸模型；

采用构建的2D人脸模型来对输入的大分辨率人脸图像进行拟合。

8.如权利要求7所述的方法，其中，在利用输入的大分辨率2D人脸图像构建2D人脸模型的步骤中，使用该大分辨率2D人脸图像的边缘与角特征来构建2D人脸模型。

9.如权利要求7所述的方法，其中，在采用构建的2D人脸模型来对输入的大分辨率人脸图像进行拟合的步骤中，先拟合刚体变化参数来粗略定位人脸位置，在粗略定位人脸位置之后将刚体变化参数和形状参数一起拟合。

10.如权利要求2所述的方法，其中，步骤(c)还包括：

定位步骤(a)拟合的2D人脸图像中的人脸特征点；

定位步骤(b)重建的3D人脸形状中的人脸特征点；

将2D人脸图像中定位的人脸特征点进行三角剖分；

将3D人脸形状中定位的人脸特征点进行三角剖分；

建立由三角剖分的2D人脸图像中定位的人脸特征点构成的三角面片与由三角剖分的3D人脸形状中定位的人脸特征点构成的三角面片之间的对应关系；

参照建立的对应关系，将由三角剖分的2D人脸图像中定位的人脸特征点构成的三角面片中的纹理映射到由三角剖分的3D人脸形状中定位的人脸特征点构成的对应三角面片。

11.如权利要求10所述的方法，将由三角剖分的2D人脸图像中定位的人脸特征点构成的三角面片中的纹理映射到由三角剖分的3D人脸形状中定位的人脸特征点构成的对应三角面片的步骤包括：

计算由三角剖分的2D人脸图像中定位的人脸特征点构成的三角面片中的每一个像素与该三角面片的三个顶点的位置关系系数；

根据计算位置关系系数，计算由三角剖分的3D人脸形状中定位的人脸特征点构成的对应三角面片中的对应点的位置坐标。

12.如权利要求10所述的方法，将由2D人脸图像中定位的人脸特征点构成的三角面片中的纹理映射到由3D人脸形状中定位的人脸特征点构成的对应三角面片的步骤包括：

计算由三角剖分的3D人脸图像中定位的人脸特征点构成的三角面片中的每一个像素与该三角面片的三个顶点的位置关系系数；

根据计算的位置关系系数，计算由三角剖分的2D人脸形状中定位的人脸特征点构成的对应三角面片中的对应点的位置坐标。