[发明专利]一种非线性三维人脸的建模方法

说明书

技术领域

本发明属于图像处理的技术领域，具体地涉及一种非线性三维人脸的建模方法。

背景技术

三维人脸重建是根据输入二维人脸图像重建其三维人脸数据的工作。由于三维人脸模型在计算机游戏、人机交互等领域有着广阔的应用前景，因此三维人脸重建已经成为是计算机图形学、计算机视觉最活跃的研究热点。自从Parke于1972年首次使用计算机方法表示人脸，人脸建模就得到了广泛的关注。经过30多年的发展，三维人脸建模方法有了长足的进步。Vetter等人1999年提出了基于形变模型的人脸建模方法，该方法第一次实验了人脸建模的完全自动化，并且可以由一幅人脸图像重建特定人的三维人脸模型。由于该模型是建立在像素级对应的三维原型人脸数据上，且模型中考虑了人脸姿态、光照等因素，因此该模型可以生成高度真实感的三维人脸。形变模型的基础是线性组合的思想，即一类对象可以用该类对象基向量的线性组合来表示。基于形变模型的建模方法是通过调节模型的组合参数实现形变模型与输入图像之间的匹配。而人脸是嵌套在高维空间当中的非线性流形。基于线性理论的重建算法必定会忽略人脸结构的细节，难以达到较好的重建效果。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种重建效果更好的非线性三维人脸的建模方法。

本发明的技术解决方案是：这种非线性三维人脸的建模方法，包括以下步骤：(1)从已有的人脸数据库中分别选取三维样本和二维样本，作为训练样本集，并对这些样本实施规格化操作；在训练阶段，将二维训练样本集与三维训练样本集按照身份信息进行配对，使得这两组样本集中的样本按照身份信息相互对应；(2)以这两组对应样本集为基础训练各自的投影矩阵，使得不同维度的样本投影后具有最大的相关性；(3)在重建阶段，对于输入的二维人脸图像，首先对其进行规格化处理，然后在二维训练样本集的子空间进行投影，根据相关性距离选取与其相关度高的三维样本，基于这些选定的三维样本构建三维人脸形变模型，并将其与输入图像进行匹配来实现三维人脸样本重建。

由于本方法基于典型相关性分析和形变模型，所以重建效果更好。

具体实施方式

这种非线性三维人脸的建模方法，包括以下步骤：(1)从已有的人脸数据库中分别选取三维样本和二维样本，作为训练样本集；在训练阶段，将二维训练样本集与三维训练样本集按照身份信息进行配对，使得这两组样本集中的样本按照身份信息相互对应；(2)以这两组对应样本集为基础训练各自的投影矩阵，使得不同维度的样本投影后具有最大的相关性；(3)在重建阶段，首先将二维训练样本集的二维样本进行规格化处理(将其按照双眼间的距离进行尺度对齐，按照鼻尖点的位置进行位移对齐，并规格化为192*192大小的样本)；对于输入的二维人脸图像，首先将其进行规格化处理，然后在规格化的二维训练样本集的子空间进行投影，根据相关性距离选取与其相关度高的三维样本，基于这些选定的三维样本构建三维人脸形变模型，并将其与输入图像进行匹配来实现三维人脸样本重建。

优选地，步骤(1)包括以下分步骤：(1.1)从已有的人脸数据库中选取三维样本集和二维样本集；(1.2)三维样本集和二维样本集按照身份信息对应；(1.3)对三维样本和二维样本进行规格化。

更进一步地，所述步骤(1.3)包括：对三维样本规格化：使用交互的方式获取三维样本瞳孔之间的位置，计算所有三维样本的瞳孔间的距离，以这些距离的平均值为标准对所有三维样本进行尺度变化，以眉心点为标准对所有三维样本进行平移对齐；对二维样本规格化：使用交互的方式获取二维样本瞳孔之间的位置，计算所有二维样本的瞳孔间的距离，以这些距离的平均值为标准对所有二维样本进行尺度变化，以眉心点为标准对所有二维样本进行平移对齐。

优选地，步骤(2)包括以下分步骤：

(2.1)计算二维样本与三维样本的均值向量；

(2.2)将所有样本减去各自对应的均值向量；

(2.3)以相关性公式为目标函数，对其求最大值优化，在目标函数最大化时求出二维样本和三维样本对应的特征向量，其中相关性公式为：