[发明专利]一种基于单幅照片的三维人脸建模方法及系统

权利要求书

1.一种基于单幅照片的三维人脸建模方法，其特征在于，包括以下步骤：

获取人脸图像以及单幅人脸照片；

将所述人脸图像二维展开，并通过薄板样条变换对展开得到的纹理图像进行稠密点对应，获得中间图像；

通过对所述中间图像的主成分分析得到形变模型；

将所述形变模型的特征点与所述人脸照片的特征点对齐，并在对齐后的形变模型上垂直投影所述人脸照片的纹理，生成人脸模型。

2.根据权利要求1所述的三维人脸建模方法，其特征在于，通过薄板样条变换对展开得到的纹理图像进行稠密点对应包括以下步骤：

从所述纹理图像中确定一图像作为参考图像；

根据cpselect函数对所述纹理图像进行特征点标记；

通过映射函数将所述纹理图像的特征点与所述参考图像的特征点对齐；所述映射函数为：

其中，U为薄板样条基函数：U_(r)＝r²logr²；a₁、a_x、a_y为系数，w_i为权重，该函数还满足条件：

3.根据权利要求2所述的三维人脸建模方法，其特征在于，获得中间图像包括以下步骤：

通过逆映射函数计算所述纹理图像的特征点坐标；

将二维展开时标记的柱面坐标匹配至所述纹理图像相应的特征点坐标上；

根据匹配后的坐标关系将所述纹理图像变换为中间图像。

4.根据权利要求1所述的三维人脸建模方法，其特征在于，通过对所述中间图像的主成分分析得到形变模型包括以下步骤：

定义所述中间图像为形状向量S和纹理向量T，并据其计算获得平均人脸：其中m为人脸图像的个数；

求出对应的协方差矩阵，进行奇异值分解：

通过调用Matlab中的svd函数提取形状特征向量s₁、s₂……s_k、……和纹理特征向量t₁、t₂……t_k、……，获得形变模型；形变的原理为：其中，A_i为形状系数，B_i为纹理系数。

5.根据权利要求1所述的三维人脸建模方法，其特征在于，将所述形变模型的特征点与所述人脸照片的特征点对齐包括以下步骤：

选取所述形变模型的特征点，并根据所述人脸照片上对应的特征点估算两者间的仿射变换；

仿射变换的公式为：S″_f＝(logc+1)T+S'_f，其中T∈R^2t表示平移向量，c∈R表示正则形状系数，为新的子形状向量；

根据所述仿射变换的求解结果计算所述形变模型的形状系数

求代价函数在最优解时的值，其中形变模型的坐标为输入的二维图像坐标为S_input(x,y)，F为Frobanius范数；

上式是一个最优化问题，目的是使得变形后的三维人脸的正投影坐标与输入图像的坐标最接近，利用Matlab中的fminunc函数求解上式即可得到形状系数

根据所述形状系数对所述形变模型进行变换，得到人脸形状模型。

由代入公式对形变模型进行变换得到新的形状向量，这个形状向量就是与输入人脸一致的形状向量，如此获得单幅人脸照片对应的人脸形状模型。

6.根据权利要求5所述的三维人脸建模方法，其特征在于，所述人脸照片上的特征点的获取方式为：通过Face++的API接口参照所述形变模型的特征点，对所述人脸照片相应的特征点进行标记。

7.根据权利要求1所述的三维人脸建模方法，其特征在于，获取人脸图像包括以下步骤：

采集人脸图像并将其存储至人脸数据库；

从所述人脸数据库中调取所述人脸图像。

8.根据权利要求1所述的三维人脸建模方法，其特征在于，生成人脸模型后还包括以下步骤：

对所述人脸模型进行是否有纹理缺失的检测；

若有纹理缺失，则记录所述人脸模型边缘的纹理特征的坐标，并将其向人脸中心平移；在所述纹理特征上垂直投影所述人脸照片的纹理，并平移回记录的坐标处。