[发明专利]一种基于单幅图像的非线性三维人脸建模方法

说明书

技术领域

本发明涉及计算机三维动画技术领域，尤其涉及一种基于单幅图像的非线性三维人脸建模方法。

背景技术

三维人脸动画技术最早的工作开始于1972年。其后的学者做了很多工作，以期能够生成逼真生动的三维人脸动画。但由于人脸的解剖学结构非常复杂，细微的非刚性运动难以用数学建模，同时，人们对人脸外观的敏感性，使得这一课题非常困难。目前真实感三维人脸动画的工作取得了一些进展，基本上可以分为如下几类：

基于插值的方法：最早的人脸动画是基于插值的方法。首先由动画师制作一些特定的人脸表情关键帧，然后用线性插值在这些关键帧之间建立光滑的过渡。这种方法主要依靠动画师的个人能力，而且比较耗时。

基于自由变形的方法：自由变形的方法把三维人脸动画转化为一个曲面变形的问题。由若干控制点组成了一个包围体，包围体的运动直接驱动人脸网格的变形。这种方法输入限制少，但往往需要对人脸进行区域划分，这个过程对一般用户来说比较困难和繁琐；而且由于变形体没有考虑人脸网格本身的拓扑结构，所以变形往往会产生一些瑕疵。

基于物理建模的方法：首先对人脸的解剖学结构，如肌肉、头骨和皮肤进行建模，然后运动捕获数据则可以转化为肌肉收缩的参数，驱动模型的人脸动画。这种方法产生的符合人脸的运动特性，比较真实，但计算代价比较高，且难以快速对新角色建立物理模型。

基于例子的方法：三维人脸动画被看作是一些特定实例的线性组合。运动捕获数据中的运动向量，直接被用来估计线性组合的参数和插值系数。预先定义的实例则通过这些参数和系数被混合在一起。这类方法比较稳定和准确，但建立实例的过程比较昂贵和繁琐。

表情克隆的方法：为了将已有的三维网格运动数据应用到新的三维人脸模上，运动位移需要针对网格的局部几何特征进行旋转和缩放。表情克隆可以解决不同三维人脸曲面网格之间的运动重定向问题。

实时人脸动画捕获：通过计算机视觉算法，视频中的角色的三维形状和彩色纹理被实时重建。这种方法可以对特定角色进行逼真生动的动画创作，但产生的动画难以转移到其他角色上。

发明内容

本发明的目的在于提供一种基于单幅图像的非线性三维人脸建模方法。此方法在三维人脸数据库的支持下，通过单幅图像对人脸的拓扑结构进行有效的建模，保证人脸动画的真实感，同时避免了对人脸缝隙区域进行手工划分的繁琐，具有较好的实时性和可扩展性。

为实现上述发明目的，本发明采用下述的技术方案：

基于单幅图像的非线性三维人脸建模方法包括如下步骤：

1)给定一副人脸图像，标记预定义特征点；

2)基于特征点和参照模型，图像中的头部姿态被自动恢复；

3)根据定义的相似度函数，为人脸图像在三维人脸空间中找到局部邻域；

4)采用基于邻域的最优化方法进行三维人脸重建，用径向基函数网络从给定图像推断三维人脸模型，径向基函数网络输入是二维像素位置，输出三维空间坐标；

5)通过提取的基于图像的特征点坐标计算纹理坐标，选择用径向基函数网络从三维坐标映射到纹理坐标的函数，给定一组三维模型上的特征顶点和纹理坐标，中间点的纹理坐标可以通过散乱数据插值得到，生成三维人脸模型的纹理映射。

所述给定一副人脸图像，标记预定义特征点步骤：

(a)所采用的三维模型中除了表示面部的几何面片之外，还有颈部和耳朵等其他部位；

(b)三维人脸数据库中的模型经过预处理后，已经实现了顶点对应，因此在一个模型上定义的特征点可以直接传播到其他人脸模型上；

(c)三维人脸模型上的特征点集合定义了一个包围盒，从人脸动画的需求和图像的覆盖范围考虑，人脸建模和纹理映射时，仅绘制包围盒内的几何面片。

所述的基于特征点和参照模型，图像中的头部姿态被自动恢复步骤：

(d)在一个三维参照模型的支持下，从单幅人脸图像中恢复姿态参数，使用的参照模型是数据库中的平均人脸；

(e)通过矩阵运算求得旋转R，平移t，和缩放s相似性变换参数得到头部姿态；

(f)使用最小二乘估计头部姿态的准确性，最小二乘估计计算公式如下