[发明专利]一种重建人脸三维模型的方法和装置

权利要求书

1.一种重建人脸三维模型的方法，其中，该方法包括：

根据包含指定人脸的二维图像/视频，检测出所述指定人脸的二维特征点集合S；

构建初始的人脸三维模型，通过将所述初始的人脸三维模型中的三维特征点投影到二维空间后与所述S中的二维特征点进行拟合，估计出所述指定人脸的三维模型参数；

根据估计出的指定人脸的三维模型参数，对图像/视频中的人脸进行特效处理。

2.如权利要求1所述的方法，其中，通过将所述初始的人脸三维模型中的三维特征点投影到二维空间后与所述S中的二维特征点进行拟合，估计出所述指定人脸的三维模型参数包括：

根据公式||Proj(RV)-S||2进行拟合计算，获得该公式收敛时的人脸三维模型参数；其中：RV是初始的人脸三维模型，V是人脸三维重建点集合，R为旋转平移矩阵；Proj表示三维空间点在二维空间上的投影。

3.如权利要求2所述的方法，其中，所述构建初始的人脸三维模型包括：

确定人脸三维重建点集合其中，是人脸的三维平均模型，A是人脸三维重建时主成分分析PCA方法的基，α是三维重建系数；

为旋转平移矩阵R所包括的三个旋转角度和三个水平移动变量设定初始值；

获得初始的人脸三维模型RV。

4.如权利要求3所述的方法，其中，

根据人脸三维模型库中的各人脸三维模型，计算人脸的三维平均模型以及计算人脸三维重建时主成分分析PCA方法的基A。

5.如权利要求3所述的方法，其中，所述根据公式||Proj(RV)-S||2进行拟合计算包括：

采用梯度下降法对R和α分别进行优化，直到||Proj(RV)-S||2收敛。

6.如权利要求2-5中任一项所述的方法，其中，根据估计出的指定人脸的三维模型参数，对图像/视频中的人脸进行特效处理包括：

将作为人脸三维模型参数之一的旋转平移矩阵R应用到三维萌颜模型G上，得到旋转平移后的三维萌颜模型RG；

将旋转平移后的三维萌颜模型投影到图像/视频中的指定人脸上。

7.如权利要求6所述的方法，其中，将旋转平移后的三维萌颜模型投影到图像/视频中的指定人脸上，该方法进一步包括：

通过比较旋转平移后的三维萌颜模型的深度信息和人脸全模型RV的深度信息来判断较旋转平移后的三维萌颜模型与图像/视频中的指定人脸的遮挡关系。

8.一种重建人脸三维模型的装置，其中，该装置包括：

检测单元，适于根据包含指定人脸的二维图像/视频，检测出所述指定人脸的二维特征点集合S；

参数估计单元，适于构建初始的人脸三维模型，通过将所述初始的人脸三维模型中的三维特征点投影到二维空间后与所述S中的二维特征点进行拟合，估计出所述指定人脸的三维模型参数；

处理单元，适于根据估计出的指定人脸的三维模型参数，对图像/视频中的人脸进行特效处理。