[发明专利]3D人脸点云重建方法及系统

说明书

本发明公开了一种3D人脸点云重建方法及系统，其中该方法包括初始点云建立、点云配准、点云重采样以及点云增强四个阶段；在点云配准阶段，通过神经网络学习的方式动态生成点云配准所需的系数，使得生成的点云数据更加精确，而且不过分依赖点对中的对应关系；同时通过神经网络下采样的方式生成相邻两帧点云的特征矩阵，并求出两特征矩阵的欧氏距离，从而减少点云的计算量，基本达到可实时处理的条件；另外，通过点云重采样来进一步降低重建后的点云的噪声，通过点云增强的方式来增加重建后的点云的鲁棒性，使之更好的应用于后续的曲面重建中。

技术领域

本发明涉及3D人脸重建技术领域，尤其涉及一种3D人脸点云重建方法及系统。

背景技术

随着我国经济的发展，城市化水平进一步提高，驾驶员自动检测系统已经成为现代车载智能系统发展的重要方向。人脸识别系统作为其中的重要组成部分，也正从传统2D图像识别模式向3D深度学习模式发展。在3D人脸识别及相关任务中，对于人脸3D数据的点云重建问题，是其中一个前期处理中的重要分体。因此，基于3D数据的点云重建方法的关键技术，已成为国内外相关领域的研究热点。

3D点云重建作为3D人脸识别等相关任务的前置任务之一，可以很大程度上避免2D人脸识别及其相关任务中的过于依赖成像质量的缺点，提高了人脸识别任务的精度和对于场景环境的鲁棒性。但由于传统点云重建方法需要消耗大量计算量，并且费时，且在重建过程中过于依赖ICP算法，即过于依赖点对之间的对应关系，无法处理缺少的对应关系和部分可见性的点云，导致在真实场景中无法应用。

发明内容

本发明的目的是为解决上述技术问题的不足而提供一种3D人脸点云重建方法，以提高3D人脸识别的精度，并有效缩减计算量。

本发明的另一目的是提供一种3D人脸点云重建系统，以提高3D人脸识别的精度，并有效缩减计算量。

为了实现上述目的，本发明公开了一种3D人脸点云重建方法，其包括如下步骤：

1)、从包括多帧人脸图像的视频流中选择相邻两帧人脸图像，通过处理得到分别与两帧人脸图像对应的初始点云S_T、S_T+1；

2)、然后通过预先定义的初始变换矩阵{R_i，T_i}对初始点云S_T进行变换，得到S′_T，将S′_T与S_T+1拼接融合后送入基于卷积神经网络的包括卷积层和最大池化层的系数预测网络，得到一组迭代系数矩阵(α，β)；

3)、将S′_T和S_T+1分别送入基于卷积神经网络的第一特征提取网络，所述第一特征提取网络用于对S′_T和S_T+1进行网络下采样，以得到两组特征矩阵F_T与F_T+1；

4)、通过一计算模型得出初始配准矩阵M₀，所述计算模型的输入参数为一组迭代系数矩阵(α，β)，以及特征矩阵F_T与F_T+1；

5)、对初始配准矩阵M₀进行归一化处理，得到最终配准矩阵M_T；

6)、采用分解算法，对M_T进行奇异值分解，得到变换矩阵{R_T，T_T}，采用{R_T，T_T}对{R_i，T_i}进行更新，作为下一帧点云变换的初始值。