[发明专利]一种基于3D模型的大姿态人脸对齐方法和系统

权利要求书

1.一种基于3D模型的大姿态人脸对齐方法，其特征在于，包括以下步骤：

(1)建立基于PCA的3DMM模型，其通过以下等式(1)表示：

表示平均形状，S_id表示基于3D面部扫描仪采集的三维面部的形状分量，p_id表示形状参数，S_exp表示基于3D面部扫描仪采集的三维面部的表情分量，p_exp表示表情参数，N表示3D面部扫描仪采集的三维面部特征点的数量；

(2)构建由3D面部扫描仪采集的N个二维面部特征点所组成的向量集合U：

其中u和v分别代表不同二维面部特征点的横坐标和纵坐标；

(3)构建步骤(1)得到的3DMM模型与步骤(2)构建的向量集合U之间的关系式：

其中Pr为矩阵，且有[m₁，m₂，…，m₈]为相机投影矩阵，m₉、m₁₀、m₁₁为根据m₁，m₂，…，m₈求得的数，且[m₉，m₁₀，m₁₁]＝[m₁，m₂，m₃]×[m₄，m₅，m₆]，m₁₂等于0；

(4)构建改进CNN网络模型，其是在现有CNN网络模型中每一个可视化块中增加一个可视化层实现，用于将其所在可视化块的特征提取出来，并将其传递给下一个可视化块；

(5)基于现有的公开人脸数据集获取训练样本，使用该训练样本训练步骤(4)中构建的改进CNN网络模型，以获得对应的m₁，m₂，…，m₈、p_id、p_exp，其中基于现有的公开人脸数据集是300W或AFW；

(6)获取二维人脸图片，并将该二维人脸图片输入步骤(5)中训练的改进CNN网络模型中，以得到对应的人脸对齐结果。

2.根据权利要求1所述的大姿态人脸对齐方法，其特征在于，步骤(1)中使用199个形状分量来表示身份特征，使用29个表情分量来表示表情特征，平均形状和身份分量S_id是由BFM模型得到，表情分量S_exp是由三维人脸表情数据库得到。

3.根据权利要求1所述的大姿态人脸对齐方法，其特征在于，可视化层用于对任意角度的人脸图像进行可视化，具体需要对人脸图像每个三维顶点的可见性进行估计，即，首先剔除与相机垂直的一些顶点，如果多个顶点的像素相同，则只保留最小深度值的点。

4.根据权利要求1所述的大姿态人脸对齐方法，其特征在于，CNN网络模型中包括6个可视化块。

5.根据权利要求1所述的大姿态人脸对齐方法，其特征在于，公开人脸数据集包括300W、AFW、以及AFLW数据集。

6.根据权利要求1所述的大姿态人脸对齐方法，其特征在于，步骤(6)具体是利用步骤(2)和步骤(3)中所反映的二维面部特征点与三维面部特征点之间的关系式，获取最终的人脸对齐结果。

7.一种基于3D模型的大姿态人脸对齐系统，其特征在于，包括：

第一模块，用于建立基于PCA的3DMM模型，其通过以下等式(1)表示：

表示平均形状，S_id表示基于3D面部扫描仪采集的三维面部的形状分量，p_id表示形状参数，S_exp表示基于3D面部扫描仪采集的三维面部的表情分量，p_exp表示表情参数，N表示3D面部扫描仪采集的三维面部特征点的数量；

第二模块，用于构建由3D面部扫描仪采集的N个二维面部特征点所组成的向量集合U：

其中u和v分别代表不同二维面部特征点的横坐标和纵坐标；

第三模块，用于构建第一模块得到的3DMM模型与第二模块构建的向量集合U之间的关系式：

其中Pr为矩阵，且有[m₁，m₂，…，m₈]为相机投影矩阵，m₉、m₁₀、m₁₁为根据m₁，m₂，…，m₈求得的数，且[m₉，m₁₀，m₁₁]＝[m₁，m₂，m₃]×[m₄，m₅，m₆]，m₁₂等于0；

第四模块，用于构建改进CNN网络模型，其是在现有CNN网络模型中每一个可视化块中增加一个可视化层实现，用于将其所在可视化块的特征提取出来，并将其传递给下一个可视化块；

第五模块，用于基于现有的公开人脸数据集获取训练样本，使用该训练样本训练第五模块构建的改进CNN网络模型，以获得对应的m₁，m₂，…，m₈、p_id、p_exp，其中基于现有的公开人脸数据集是300W或AFW；

第六模块，用于获取二维人脸图片，并将该二维人脸图片输入第五模块训练的改进CNN网络模型中，以得到对应的人脸对齐结果。