[发明专利]二维正面人脸图像的三维网格化方法

摘要

本发明公开了一种二维正面人脸图像的三维网格化方法：对具有二维正面人脸的图像进行分析自动提取人脸特征信息；将基准人脸三维模型的特征点对齐二维正面人脸的特征点，得到二维仿射矩阵；将得到的三维仿射矩阵，施加于基准人脸三维模型的每一个点，得到特定的人脸三维模型；对特定人脸三维模型进行局部区域对准；对特定人脸三维模型进行边界网格延伸，得到非脸部网格；将得到的三维相似矩阵，施加于附属网格的每一个点，将附属网格平移到特定人脸三维模型的对应位置；将二维正面人脸的图像作为纹理映射到特定人脸三维模型，完成人脸图像网格化。该方法能从二维图像中很好的提取人脸特征点，根据特征点生产人脸的真实自然的三维网格模型。

主权项

一种二维正面人脸图像的三维网格化方法，其特征在于，包括以下步骤：步骤1对具有二维正面人脸的图像进行分析自动提取人脸特征信息；步骤2将基准人脸三维模型的特征点对齐二维正面人脸的图像特征点，得到二维仿射矩阵：由于基准人脸三维模型特征点与二维正面人脸的图像特征点维数不同，将基准人脸三维模型位置调整到正面朝向Z轴正方向，在对齐过程中不考虑Z分量，令T是仿射变换矩阵，对于二维点(x，y)， T ( s 1 , s 2 , θ , t x , t y ) x y 1 = s 1 · cos θ - s 1 · sin θ t x s 2 · sin θ s 2 · cos θ t y 0 0 1 x y 1 - - - ( 1 ) 其中s1是X轴上的缩放参数，s2是Y轴上的缩放参数，θ是旋转参数，tx和ty是平移参数，向量x为基准人脸三维模型特征点向量，向量x′为二维正面人脸的图像特征点，x和x′的对齐问题即为为解minD＝|T(x)-x′|2的优化问题，有 | T ( x ) - x ′ | 2 = Σ k = 1 n [ ( s 1 · cos θ x k - s 1 · sin θ y k + t x - x k ′ ) 2 - - - ( 2 ) + ( s 2 · sin θ x k + s 2 · cos θ y k + t y - y k ′ ) 2 ] 令 ∂ | T ( x i ) - x j | 2 ∂ s 1 · cos θ = 0 , ∂ | T ( x i ) - x j | 2 ∂ s 1 · sin θ = 0 , ∂ | T ( x i ) - x j | 2 ∂ s 2 · cos θ = 0 , ∂ | T ( x i ) - x j | 2 ∂ s 2 · sin θ = 0 , ∂ | T ( x i ) - x j | 2 ∂ t x = 0 , ∂ | T ( x i ) - x j | 2 ∂ t y = 0 解得s1.cosθ∑xi2-s1.sinθ∑xiyi+tx∑xi＝∑xix′i，s1.cosθ∑xiyi-s1.sinθ∑yi2+tx∑yi＝∑yix′i，s2.sinθ∑xi2+s2.cosθ∑xiyi+ty∑xi＝∑xiy′i，s2.sinθ∑xiyi+s2.cosθ∑yi2+ty∑yi＝∑yiy′i， s 1 · cos θ 1 n Σ x i - s 1 · sin θ 1 n Σ y i + t x = 1 n Σ x i ′ , s 2 · sin θ 1 n Σ x i - s 2 · cos θ 1 n Σ y i + t y = 1 n Σ y i ′ 将x平移到原点，有 1 n Σ x i = 0 , 1 n Σ y i = 0 . 若令a＝s1cosθ，b＝-s1sinθ，c＝s2sinθ，d＝s2cosθ，则有 s 1 2 = a 2 + b 2 , s 2 2 = c 2 + d 2 , θ = - arctan ( b a ) 带入，得 t x = 1 n Σ x i ′ , t y = 1 n Σ y i ′ , a b c d = 1 Δ Σ x i x i ′ Σ y i x i ′ Σ x i y i ′ Σ y i y i ′ Σ y i 2 - Σ x i y i - Σ x i y i Σ x i 2 , Δ＝∑x2i∑y2i-(∑xiyi)2带入公式(1)，得T；步骤3得到三维仿射矩阵，施加于基准人脸三维模型的每一个点，得到特定的人脸三维模型：令T′是三维仿射变换矩阵，有 T ′ x y z 1 = s 1 cos θ - s 2 sin θ 0 t x s 2 sin θ s 1 cos θ 0 t y 0 0 ( s 1 + s 2 ) / 2 0 0 0 0 1 x y z 1 通过对基准人脸三维模型的特征点和非特征点施加仿射变换T′，得到特定人脸三维模型，然后再对整个特定人脸三维模型的轮廓进行整体调整，把脸部分为左半边脸与右半边脸。对于左脸部，通过人脸图像上的脸部轮廓特征点，进行样条插值，生产一条与左半边脸轮廓相似的光滑曲线，以脸部中心为远端，通过计算左半边脸上的点与左半边光滑曲线在X轴方向的距离，并根据该距离平移该点，右半边脸的调整采用同样方式处理；步骤4对特定人脸三维模型进行局部区域对准：将人脸按五官分布划分为多个不同的矩形区域，每个区域均含得到的特定人脸三维模型上一个特征点，把每个区域内特定人脸三维模型上的特征点对齐到二维正面人脸的图像特征点，然后根据距离和角度，调整区域内其他点的位移，使特定人脸三维模型与二维正面人脸的图像的局部对齐得更加准确，同时保证模型的平滑；步骤5对步骤4得到的特定人脸三维模型进行边界网格延伸，得到人脸图像板：利用贝塞尔曲面和贝塞尔曲线将特定人脸三维模型平滑地延展，按照图像宽度和高度的比例关系，生成一个背景板，进而形成整个二维正面人脸的图像的三维网格；步骤6得到三维相似矩阵，施加于附属网格的每一个点：附属网格由左右眼、口腔中的牙齿、舌头和口腔体组成，根据二维仿射变换矩阵T，令T″是三维相似变换矩阵，有 T ′ ′ = ( s 1 + s 2 ) cos θ / 2 - ( s 1 + s 2 ) sin θ / 2 0 t x ( s 1 + s 2 ) sin θ / 2 ( s 1 + s 2 ) cos θ / 2 0 t y 0 0 ( s 1 + s 2 ) / 2 0 0 0 0 1 对附属网格的所有点施加相似变换T″，得到对齐后的附属网格；步骤7将附属网格平移到步骤5所得到的特定人脸三维模型的对应位置；步骤8将步骤1所用的二维正面人脸的图像作为纹理映射到步骤7所得到特定人脸三维模型，完成人脸图像网格化。