[发明专利]一种基于分布式热力图的人脸3D关键点检测方法及系统

说明书

本发明公开了一种基于分布式热力图的人脸3D关键点检测方法及系统，包括：将数据库中人脸关键点的N个3D参考坐标向量在三个二维平面进行降维投影；采用分布式编码子网络将每个2D参考坐标向量分别编码为一张分布式热力图；通过坐标映射的方式N张分布式热力图合并为一张2D联合热力图；通过concat算法将三张2D联合热力图叠加为3D联合热力图；采用解码子网络将所述3D联合热力图解码为N个3D检测坐标向量。本方法结合了现有的2D及3D人脸关键点检测方法的优点，构建分布式热力图、再通过坐标映射的方式将分布式热力图进行联合，其中的分布式编码子网络模型简单、计算量小，在保持较高检测精度的同时，可进一步减小模型参数量、提高模型运行速度。

技术领域

本发明涉及图像处理和计算机机器视觉技术领域，尤其涉及一种基于分布式热力图的人脸3D关键点检测方法及系统。

背景技术

随着深度学习技术在计算机视觉领域的蓬勃发展，各种人脸图像处理任务在生活中得到了广泛应用，其中人脸关键点检测在人脸识别、表情识别、人脸重建等方面都扮演了重要的角色。

在过去的十年里人脸关键点检测取得了巨大的成就，特别是在2D人脸关键点检测领域。其中由Cootes等提出的基于点分布模型的ASM(Active Shape Model)算法是经典的人脸关键点检测算法，该算法通过人工标定的方法先标定训练集，经过训练获得形状模型，再通过关键点的匹配实现特定物体的匹配；由Dollar提出的基于级联回归的CPR(CascadedPose Regression)算法通过一系列回归器将一个指定的初始预测值逐步细化，每一个回归器都依靠前一个回归器的输出来执行简单的图像操作，整个系统可自动的从训练样本中学习；此外，由Zhang等人提出一种多任务级联卷积神经网络MTCNN(Multi-task CascadedConvolutional Networks)用以同时处理人脸检测和人脸关键点定位问题。然而，在诸如大角度姿态以及脸部遮挡等复杂场景下，基于2D的人脸关键点检测方法难以实现、存在限制。为了解决这种限制，越来越多的研究者逐渐关注于3D人脸关键点检测，3D人脸关键点相对于2D表示更多信息并且提供更多遮挡信息。

3D人脸关键点检测方法大致分为基于模型的方法和非基于模型的方法。一、基于模型的方法：Blanz等人提出的三维变形模型(3DMM)是完成3D人脸关键点检测的常用方法；二、非基于模型的方法：Tulyakov等人提出了一种用级联回归计算三维形状特征来定位3D人脸关键点的方法，将级联回归方法推广到3D人脸关键点检测中。此外，在基于模型的方法中，还包括利用深度学习模型完成人脸关键点检测的方法，主要分为两阶段回归法和体积表示方法，两阶段回归典型方法，将坐标与轴分离，先回归坐标，再回归；体积表示方法将传统2D热力图扩展到3D体积表式，在人体关键点检测中也有广泛应用。

然而由于3D空间维度的增加，相应算法的处理速度、模型精度都面临巨大的挑战，现有的3D人脸关键点检测算法在处理速度、模型大小和复杂度、模型精度等方面都存在不同程度的缺陷。

发明内容

本发明的目的之一至少在于，针对如何克服上述现有技术存在的问题，提供一种基于分布式热力图的人脸3D关键点检测方法及系统，能够在保证精度的同时，简化模型、提高处理运行速度。

为了实现上述目的，本发明采用的技术方案包括以下各方面。

一种基于分布式热力图的3D人脸关键点检测方法，包括：

步骤101，将数据库中人脸关键点的N个3D参考坐标向量在三个二维平面进行降维投影；其中，所述三个二维平面分别为xy、xz、yz平面，且x、y、z同时为正或同时为负；每个二维平面中包括N个与所述N个3D参考坐标向量相对应的2D参考坐标向量；

步骤102，采用分布式编码子网络将每个2D参考坐标向量分别编码为一张分布式热力图；其中，一个二维平面下可得N张分布式热力图；