[发明专利]一种带纹理的人脸三维网格模型获取方法

说明书

本发明涉及人脸三维重建技术领域，且公开了一种带纹理的人脸三维网格模型获取方法，带纹理的人脸三维网格模型获取系统包括采集模块、人脸三维网格模型生成模块以及纹理映射模块，采集模块通过利用多个深度相机模组同步采集深度图和纹理图数据，加快采集速度，减少后续三维点云拼接和纹理映射的误差。通过对采集的正脸纹理图进行人脸五官感兴趣区域识别，得到人脸五官识别区域掩膜，掩膜在人脸三维网格模型纹理贴图中为模型五官选择正脸纹理图进行贴图，避免人脸模型五官出现纹理接缝割裂不连续，同时正脸纹理图对于人脸三维网格模型的五官有较好贴图效果，提高纹理映射效果。

技术领域

本发明涉及人脸三维重建技术领域，具体为一种带纹理的人脸三维网格模型获取方法。

背景技术

人脸三维重建技术是一种获得真实人脸数字化三维模型的技术，在医疗美容、公共安全、虚拟形象交互等领域有着重要的应用前景。相比传统二维的人脸图片，三维人脸数据同时提供了纹理色彩和三维结构信息，可以直观逼真地展示人脸外观，更好地实现展示交互功能。利用增加的三维结构信息还能增加人脸识别的准确性，相比基于二维图像的人脸识别可以在不同角度下完成识别，保障了人脸识别在公共安全领域的运用。现有的人脸三维扫描装置主要包含两类，一类是通过手持方式对人脸实现多角度扫描，另一类是通过机械控制扫描设备环绕人脸进行运动完成全脸扫描，这些扫描装置的主要问题是数据采集时间过长，人脸晃动以及表情变化造成不同时刻采集的数据存在偏差，最终影响人脸三维模型重建的精度以及降低纹理重建的效果。

色彩纹理是最直观的感受对象，没有丰富逼真的纹理细节，就难以让消费者产生深刻印象的体验感，要得到逼真的物体视觉除了准确物体几何信息，离不开高保真的纹理信息支持，因此纹理映射技术在三维重建的实际应用中发挥着重要的作用。

传统主流的纹理映射方法分为两步：

第一步为网格的每个网格面片选择一幅纹理图像，将面片顶点映射到该幅图像中，获得顶点对应纹理图像的图像坐标；

第二步对纹理接缝进行优化，消除纹理接缝；

由于设备测量精度，点云拼接精度，纹理相机与深度相机标定等问题使重建模型存在一定的偏差，不同纹理图像投影到重建网格模型中不能完全对齐。当相邻两个几何面片采用不同的纹理图像贴图时，就会在其公共边上生成纹理接缝，即使纹理接缝优化后依旧可能存在纹理错位。在现有解决方法中，基于马尔可夫随机场选择纹理图的方法得到不断改进，其方法的优化模型有纹理图像选择能量项和接缝能量项，通过最小化能量减少接缝出现在纹理丰富区域来规避纹理错位带来的较差观感，但是马尔可夫随机场模型求解较为复杂，其结果鲁棒性不足，不能有效规避纹理错位问题，为此提出一种带纹理的人脸三维网格模型获取方法。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种带纹理的人脸三维网格模型获取方法，以解决上述背景技术中提出的问题。

(二)技术方案

为实现上述目的，本发明提供如下技术方案：一种带纹理的人脸三维网格模型获取方法，包括采集模块、人脸三维网格模型生成模块以及纹理映射模块，其中：

采集模块用于获取人脸的深度图和纹理图；

人脸三维网格模型生成模块是用于计算拼接深度图和生成人脸三维网格模型，同时获得网格模型与纹理图的映射关系；

纹理映射模块是用于选取纹理图映射至人脸三维网格模型中，优化纹理接缝，最终获得带纹理的人脸三维网格模型。

优选的，人脸三维网格模型获取方法包括以下获取步骤：

S1、采集人脸的深度图和纹理图数据；

S2、计算生成人脸三维网格模型；

S3、确定人脸三维网格模型与纹理图的映射关系；