[发明专利]一种重建人脸三维模型的方法和装置

说明书

本发明公开了一种重建人脸三维模型的方法、装置、电子设备和计算机可读存储介质，该方法包括：根据包含指定人脸的二维图像/视频，检测出指定人脸的二维特征点集合S；构建初始的人脸三维模型，通过将初始的人脸三维模型中的三维特征点投影到二维空间后与S中的二维特征点进行拟合，估计出指定人脸的三维模型参数；根据估计出的指定人脸的三维模型参数，对图像/视频中的人脸进行特效处理。可见，通过本发明的技术方案，指定人脸三维模型参数根据图像或视频中的指定人脸的二维特征点获取的，与指定人脸的特征相符合，然后利用三维模型参数对人脸进行特效处理，使得特效处理后的人脸更加真实生动，增强用户的体验。

技术领域

本发明涉及计算机技术领域，具体涉及一种重建人脸三维模型的方法、装置、电子设备和计算机可读存储介质。

背景技术

目前，许多的智能终端的应用中都出现了对图像或视频中的人脸进行特效处理的功能模块，特别是相机应用中。用户在使用过程中，该功能模块可将用户选择的特效模型添加到图像或视频中的人脸中。但是，现有技术中基本上都是将选择的特效模型机械的添加当图像或视频中的人脸上，不免给人一种不真实的视觉体验，降低用户的体验。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的重建人脸三维模型的方法、装置、电子设备和计算机可读存储介质。

根据本发明的一个方面，提供了一种重建人脸三维模型的方法，其中，该方法包括：

根据包含指定人脸的二维图像/视频，检测出所述指定人脸的二维特征点集合S；

构建初始的人脸三维模型，通过将所述初始的人脸三维模型中的三维特征点投影到二维空间后与所述S中的二维特征点进行拟合，估计出所述指定人脸的三维模型参数；

根据估计出的指定人脸的三维模型参数，对图像/视频中的人脸进行特效处理。

可选地，通过将所述初始的人脸三维模型中的三维特征点投影到二维空间后与所述S中的二维特征点进行拟合，估计出所述指定人脸的三维模型参数包括：

根据公式||Proj(RV)-S||2进行拟合计算，获得该公式收敛时的人脸三维模型参数；其中：RV是初始的人脸三维模型，V是人脸三维重建点集合，R为旋转平移矩阵；Proj表示三维空间点在二维空间上的投影。

可选地，所述构建初始的人脸三维模型包括：

确定人脸三维重建点集合其中，是人脸的三维平均模型，A是人脸三维重建时主成分分析PCA方法的基，α是三维重建系数；

为旋转平移矩阵R所包括的三个旋转角度和三个水平移动变量设定初始值；

获得初始的人脸三维模型RV。

可选地，

根据人脸三维模型库中的各人脸三维模型，计算人脸的三维平均模型以及计算人脸三维重建时主成分分析PCA方法的基A。