[发明专利]一种基于多种数据类型融合的三维人脸识别方法

说明书

一种基于多种数据类型融合的三维人脸识别方法，包括：S1、利用采集装置获取多组原始数据，原始数据包括图像数据和深度数据，原始数据表示为带有色彩信息的三维点云；S2、将三维点云投影到像素坐标系中，得到投影深度信息和投影色彩信息；S3、基于投影深度信息和投影色彩信息通过MTCNN（多任务卷积神经网络）检测出人脸数据；S4、构建旋转矩阵并且利用旋转矩阵对人脸数据进行增强得到增强数据；S5、利用提取器从增强数据中提取人脸特征；S6、将提取到的多个人脸特征与预设的基准特征进行对比，选取与基准特征相似度最高的一个作为识别结果。本发明提供一种基于多种数据类型融合的三维人脸识别方法，具有更高的识别准确度。

技术领域

本发明涉及人脸识别技术领域，具体的说是一种基于多种数据类型融合的三维人脸识别方法。

背景技术

现有的大部分人脸识别方法多采用传统方法处理二维图像数据、或是二维图像数据结合深度图信息，提取特征用于识别。典型的例子如：中国专利“201810353351.9”公开的“三维人脸识别方法和三维人脸识别系统”、中国专利“201810217580.8”公开的“一种人脸识别方法”以及中国专利“201610472527.3”公开的“一种基于三维数据的人脸识别系统”。这些现有技术普遍存在几个缺点：1、方法采用数据类型有极大地局限性。2、识别方法性能依赖于二维图像数据的质量，受光照等环境因素影响极大。

发明内容

为了解决现有技术中的不足，本发明提供一种基于多种数据类型融合的三维人脸识别方法，具有更高的识别准确度。

为了实现上述目的，本发明采用的具体方案为：一种基于多种数据类型融合的三维人脸识别方法，包括如下步骤：

S1、利用采集装置获取多组原始数据，原始数据包括图像数据和深度数据，原始数据表示为带有色彩信息的三维点云；

S2、将三维点云投影到像素坐标系中，得到投影深度信息和投影色彩信息；

S3、基于投影深度信息和投影色彩信息通过MTCNN(多任务卷积神经网络)检测出人脸数据；

S4、构建旋转矩阵并且利用旋转矩阵对人脸数据进行增强得到增强数据；

S5、利用提取器从增强数据中提取人脸特征；

S6、将提取到的多个人脸特征与预设的基准特征进行对比，选取与基准特征相似度最高的一个作为识别结果。

作为一种优选方案，S2中的具体方法包括：

S2.1、将三维点云投影到像素坐标系中：

其中，u和v为像素坐标系的坐标，x和y为世界坐标系的坐标，u₀、v₀、dx和dy是采集装置的内部参数；

S2.2、通过双线性差值算法补全投影后的数据：