[发明专利]基于三维人脸重建的单视图多姿态人脸识别方法

说明书

技术领域

本发明属于计算机视觉识别方法技术领域，具体涉及一种基于三维人脸重建的单视图多姿态人脸识别方法。

背景技术

人脸识别技术是通过计算机提取人脸特征，并根据这些特征进行身份识别的一种技术，具有操作简单、结果直观以及隐蔽性好等优点，在信息安全、刑事侦破及出入口控制等领域具有广泛的应用前景。

然而，人脸识别技术经过半个世纪的发展，仍然面临着巨大的挑战。大部分人脸识别方法都是在基于训练样本充分多的情况下，只有当人脸数据资料足够充分时，才能取得较好的识别效果，而当训练样本是单视图时，识别性能会急剧下降。此外，基于单视图的人脸识别具有人脸数据易采集、存储空间小等优势，这将人脸识别技术推广到大范围的实际应用成为可能。因此，以单视图为训练样本，多姿态人脸图像为测试样本的人脸识别研究具有极高的研究价值。

Ho等提出一种基于Markov随机域和信念传播算法重构虚拟正面人脸的方法，该方法不需要手动选取面部标记点和对姿态角的估计，提高了效率。基于姿态校正的方法，能避免三维建模，并且由于是单视图情况下，训练样本少，因此人脸识别效率往往很高；但是，该方法存在一定的局限性，当人脸姿态偏转较大时，往往达不到姿态校正的效果，并且当水平偏转与上下偏转情况同时存在时，姿态往往无法进行校正。赵雅英等提出了样本扩充和改进的2DPCA算法，该算法结合多种样本扩充方法来生成虚拟多视图，然后采用改进的 2DPCA方法对生成的虚拟多视图进行特征提出，并对训练样本进行分块，用类内平均值规范后的分块来构造总体散布矩阵，作者在ORL 和Yale人脸库上证明了该方法在识别性能上优于普通的2DPCA方法，并且优于单一的样本扩充方法。但是在提取特征时，这些生成的虚拟多视图样本具有很高的相关性，并不能看作为独立的样本，因此可能会导致判别特征子空间中信息的冗余。

发明内容

本发明的目的是提供一种基于三维人脸重建的单视图多姿态人脸识别方法，解决了多姿态人脸识别率低的问题。

本发明所采用的技术方案是，基于三维人脸重建的单视图多姿态人脸识别方法，具体按照以下步骤实施：

步骤1、基于几何信息的平面模板建立，定义对三维人脸重采样的数目和拓扑结构；

步骤2，基于步骤1建立的平面模板，对其分别进行垂直与水平重采样重新生成新的人脸，根据模板的拓扑结构对这些生成人脸的顶点进行网格重建，将三维人脸数据实现规格化；

步骤3，基于步骤1获得的平面模板和步骤2得到的规格化三维人脸数据，进行基于稀疏形变模型的三维人脸重建，并通过纹理映射、旋转、投影生成虚拟多视图，实现多姿态人脸识别。

本发明的特点在于：

步骤1具体按照以下方法实施：

基于几何信息的平面模板建立包括基于几何信息的人脸分割和平面模板建立两个部分；

每个三维人脸数据都是采用柱面坐标的方式记录几何信息，故能通过对这些数据进行柱面展开并结合纹理信息得到对应的纹理图像；然后对柱面展开后的人脸进行分割，提取出关键部位区域；

由于三维人脸的形状数据都已经过校正，Y轴与人脸平面垂直且过两眼的连线水平，利用几何信息直接定位鼻尖，即选取Y坐标值最大的顶点作为鼻子尖；

依据鼻尖的坐标，能得到过鼻尖的垂直和水平的两条等值线，由于三维人脸模型上的顶点和二维纹理图上的像素点是一一对应的，则能得到三维人脸上相应的等值线；通过观察水平、垂直等值线上的曲率变化能确定人脸矩形区域，并以该矩形的四条边确定外接椭圆，分割出该椭圆区域；

将分割后二维人脸纹理图以鼻尖位置对齐，进行人脸重叠，选取出现次数超过一半的像素点构成平面模板元素；

实际上，选取的像素点对应的顶点是散乱的，要通过建立网格来对这些顶点进行组织生成规格化的三维人脸模型。

步骤1中通过建立网格来对顶点进行组织生成规格化的三维人脸模型，其构建拓扑结构的步骤如下：

步骤a、根据水平等值线与垂直等值线上顶点的连接关系将顶点顺序连接；

步骤b、经步骤a后，连接左下角到右上角的对角线将每一个小矩形划分成两个三角片，并采用从左到右、从上到下的方式将顶点和小三角形进行编号，即生成规格化的三维人脸模型。

步骤2具体按照以下方法实施：

垂直采样，具体方法如下：

对于任意一个三维人脸f_i，1≤i≤m，通过插值的方法能计算其第k行上的顶点；