[发明专利]一种基于结构光摄像头的三维人脸识别方法

说明书

一种基于结构光摄像头的三维人脸识别方法，采用以下步骤，步骤1：从二维人脸图像库中采集至少两张同一个人的人脸图像，且每张人脸图像具有不同的拍摄角度；步骤2：利用不同拍摄角度的人脸图像进行三维人脸模型重建；步骤3：通过二维图片的纹理对三维人脸模型的细节进行完善；步骤4：重复步骤1至步骤3，得到三维人脸数据库；通过大量二维图像生成三维人脸模型数据进行训练，相比使用三维摄像机采集成本低，花费时间少，相比使用三维形变模型生成的训练数据精度高，与真实数据差异小。

技术领域

本发明涉及人脸识别领域，具体涉及一种基于结构光摄像头的三维人脸识别方法。

背景技术

近年来，由于人脸数据量的增大以及深度学习算法的发展，人脸识别的准确率得到了极大的提升，在某些数据集上的识别率甚至超过了人类。然而，现阶段的人脸识别，由于数据集的限制，主要都是基于二维人脸图像，在一些极端环境下例如不均匀光照，人脸角度较大等，由于缺少人脸空间信息以及二维彩色图像纹理变化较大，识别率会大大降低。三维人脸识别，因为其几何信息对光照不敏感，空间信息完备等特点，刚好能很好的解决上述问题。同时，也因为现阶段廉价结构光摄像头的普及，学术界和工业界渐渐将目光放到三维人脸的识别上。

目前的三维人脸识别技术主要有以下几种：

(1)基于人工特征的方法：通过精确的三维扫描摄像机，获取目标任务的三维人脸模型，以三维点云或者三角网格的数据形式表示。对处理好的三维人脸模型进行手工特征提取，例如计算三维点云的曲率，法线，设计SIFT,MMH等特征，再根据提取好的特征进行匹配，进而分辨三维人脸模型是否属于同一人。这类算法的缺点是，由于使用的人工特征主要基于三维模型，当人脸表情变化较大时三维模型变化也较大，故对于人脸表情较为敏感。而一些全局的人工特征例如计算三维形变模型参数的方法能解决表情变化问题，但需要很大的额外计算量。同时，提取人工特征的方法在大规模三维人脸测试集上表现不是很好。

(2)基于深度学习的方法：由于深度学习在二维人脸识别上的成功，学术界也主要把目光放在使用深度学习的方法来进行三维人脸识别的研究。而深度学习在训练阶段需要大量的数据，三维人脸的采集比起二维人脸来说成本更高。现阶段的公开三维人脸数据集大多只采集了几百人，远远达不到能实际应用的训练量。故除了使用三维摄像头采集外，还有通过三维形变模型进行三维人脸模型的生成以得到足够的训练数据。同时，为了利用深度学习在二维人脸识别的成果，往往也将三维人脸模型投影到二维平面转化为深度图等作为输入，进而分辨是否为同一人脸。这种方法的缺点是，使用三维形变模型生成的数据缺少细节，与真实人脸的差异性较大，实际应用性能不好。只将深度图作为三维模型的表达方式也缺少了三维人脸的很多其他信息。

为解决以上三维人脸识别方法的缺点，本发明从训练与测试两个阶段进行分析设计，提供了一种基于结构光的三维人脸识别方法和系统。在训练阶段上，采用基于深度学习的算法，在训练数据收集方面，通过易获得的大量二维图像，重建出该人脸的精确的三维人脸模型，同时与使用精确三维摄像头采集到的公共三维人脸数据集一起作为训练数据集。在数据输入设计上，除了深度图外，同时将二维彩色图像，设计的手工特征都作为输入，使用深度神经网络进行学习。

在测试阶段(实际应用阶段)，单纯从普通的二维摄像头获取的单帧图像很难重建出精确的三维人脸，故采取结构光摄像头进行三维人脸信息的获取。进行预处理后，使用训练好的神经网络提取三维人脸的深度特征信息，进而判断人脸的相似度。

本发明的优点是，通过大量二维图像生成三维人脸模型数据进行训练，相比使用三维摄像机采集成本低，花费时间少，相比使用三维形变模型生成的训练数据精度高，与真实数据差异小。将深度图与其他局部特征作为神经网络的输入，保留了更多的三维模型信息，识别效率更好。最后，使用该方法做出的三维识别系统在光照不平衡，人脸角度较大，人脸表情变化大的情况下取得了很好的识别效果。

发明内容

本发明针对现有技术的不足，提出一种基于结构光摄像头的三维人脸识别方法，具体技术方案如下：