[发明专利]一种带纹理的人脸三维网格模型获取方法

权利要求书

1.一种带纹理的人脸三维网格模型获取方法，其特征在于：包括采集模块、人脸三维网格模型生成模块以及纹理映射模块，其中：

采集模块是用于获取人脸的深度图和纹理图；

人脸三维网格模型生成模块是用于计算拼接深度图和生成人脸三维网格模型，同时获得网格模型与纹理图的映射关系；

纹理映射模块是用于选取纹理图映射至人脸三维网格模型中，优化纹理纹理接缝，最终获得带纹理的人脸三维网格模型。

2.根据权利要求1所述的一种带纹理的人脸三维网格模型获取方法，其特征在于：人脸三维网格模型获取方法包括以下获取步骤：

S1、采集人脸的深度图和纹理图数据；

S2、计算生成人脸三维网格模型；

S3、确定人脸三维网格模型与纹理图的映射关系；

S4、对正脸纹理图进行人脸五官区域识别，获得五官区域掩膜；

S5、使用正脸五官区域掩膜引导人脸三维网格模型贴图选择，完成整个人脸模型的纹理映射，优化接缝输出结果。

3.根据权利要求1所述的一种带纹理的人脸三维网格模型获取方法，其特征在于：采集模块包括获取装置，包括支架(5)，所述支架(5)顶部一侧安装有二号深度相机(1)，所述支架(5)顶部远离二号深度相机(1)的一侧设置有三号深度相机(3)，所述支架(5)位于二号深度相机(1)和三号深度相机(3)之间的顶部安装有一号深度相机(2)，所述支架(5)位于一号深度相机(2)的下方安装有四号深度相机(4)，所述二号深度相机(1)、一号深度相机(2)、三号深度相机(3)以及四号深度相机(4)采用主动式投影或者被动式匹配的重建方式。

4.根据权利要求2所述的一种带纹理的人脸三维网格模型获取方法，其特征在于：根据步骤S1中所提出的，人脸数据采集时，被测者两眼间正对二号深度相机(1)，多个深度相机同步采集多个方向的人脸深度数据和纹理图(T₁、T₂、T₃、T₄)，将数据采集时间缩短，减少人脸变化和抖动影响，提高获得的人脸三维点云与纹理图映射的准确性。

5.根据权利要求2所述的一种带纹理的人脸三维网格模型获取方法，其特征在于：根据步骤S2中所提出的，通过步骤S1的各个深度相机在其自身相机坐标系(O_c1、O_c2、O_c3、O_c4)下获得人脸各个方向局部三维点云(PC₁、PC₂、PC₃、PC₄)，需要拼接成完整人脸三维点云PC，再生成人脸三维网格模型。

6.根据权利要求2所述的一种带纹理的人脸三维网格模型获取方法，其特征在于：根据步骤S3中所提出的，深度相机模块中的纹理相机通过相机标定得到其内参数矩阵[K]和纹理相机坐标系与深度相机坐标系的旋转平移矩阵[R₃|T₃]。上步骤得到的人脸三维网格模型可以通过旋转平移矩阵[R₁|T₁]和[R₂|T₂]转换至深度相机坐标系下，然后再通过旋转平移矩阵[R₃|T₃]转换至纹理相机坐标系。纹理相机坐标系下人脸三维网格模型的顶点通过内参数矩阵[K]投影至纹理图中，获得对应纹理图的图像坐标，确定所有纹理图与人脸三维网格模型的映射关系。

7.根据权利要求2所述的一种带纹理的人脸三维网格模型获取方法，其特征在于：根据步骤S4中所提出的，包括以下步骤：

①、首先获取训练后用于识别人脸五官感兴趣区域的卷积神经网络模型，包括预采人脸正面图像数据；

②、人工对所述临人脸正面图像中的五官区域进行区分；

③、训练微调卷积神经网络模型，得到训练后的卷积神经网络模型；

④、将步骤S1中采集的正脸纹理图像输入卷积神经网络模型，识别人脸获得五官区域掩膜。

8.根据权利要求2所述的一种带纹理的人脸三维网格模型获取方法，其特征在于：根据步骤S5中所提出的，人脸三维网格模型由n个网格面片F_j(j∈n)组成，使用步骤S4获得的掩膜引导人脸三维网格模型贴图选择，完成整个人脸模型的纹理映射，并优化纹理接缝。