[发明专利]一种基于稀疏关键点校准的人脸关键点检测方法与系统

说明书

本发明公开了一种基于稀疏关键点校准的人脸关键点检测方法及系统，检测方法包括步骤：S1、计算密集关键点在检测模型输入尺寸下的均值人脸；S2、使用现有人脸检测器检测人脸图像的稀疏关键点；S3、基于所述均值人脸、人脸图像稀疏关键点计算仿射变换矩阵；S4、基于所述仿射变换矩阵将所述人脸图像仿射变换到所述均值人脸尺寸的输入图像；S5、基于所述检测模型检测人脸图像的关键点，通过逆仿射变换对关键点坐标进行还原，得到原始人脸图像中密集关键点。本发明对稀疏关键点进行检测，通过仿射变换得到输入图像，人脸所在的位置和所占的比例更加相近，提高了人脸关键点的检测精度。同时减少了关键点检测对于人脸框的依赖，提高了稳定性。

技术领域

本发明涉及人脸检测领域，具体涉及一种基于稀疏关键点校准的人脸关键点检测方法与系统。

背景技术

随着深度学习技术的发展，以神经网络为代表的算法，在诸多领域取得了前所未有的突破。其中作为计算机视觉中的经典问题，人脸关键点检测，采用无论是基于深度学习的方法，还是传统的方法，都存在一个共同的缺点——过度依赖人脸框。在现有的方法中，一种检测算法往往只对训练时所用的人脸框表现较好，而换一种人脸框时，人脸关键点的检测精度就会下降。哪怕使用同一种标准的人脸框，检测器不稳定带来人脸框的不稳定，也会对人脸关键点检测造成很大干扰，主要表现莫过于关键点抖动。

为了降低关键点抖动影响，现有技术通过平滑滤波减小这种影响，但这也增加了额外的开销，并且无法从根本上解决抖动问题。这是因为本质框的不稳定问题，决定人脸框的角点，往往没有确定性的标志，导致人脸框的标注标准无法有效统一，哪怕就widerface一种数据库而言，相同姿态下的人脸，框的标注标准都会存在差异，而由此学习得到的检测模型，必然会存在一定的不稳定性。这给目前基于人脸框的人脸关键点检测方法，带来了巨大挑战。

因此，如何避免基于人脸框进行的人脸关键点检测方法所带来的检测精度低的问题，是本领域亟待解决的问题。

发明内容

本发明的目的是针对现有技术的缺陷，提供了一种基于稀疏关键点校准的人脸关键点检测方法与系统。本发明对稀疏关键点进行检测，通过仿射变换得到输入图像，人脸所在的位置和所占的比例更加相近，提高了人脸关键点的检测精度。同时减少了关键点检测对于人脸框的依赖，提高了稳定性。

为了实现以上目的，本发明采用以下技术方案：

1、一种基于稀疏关键点校准的人脸关键点检测方法，包括步骤：

S1、计算密集关键点在检测模型输入尺寸下的均值人脸；

S2、使用现有人脸检测器检测人脸图像的稀疏关键点；

S3、基于所述均值人脸、人脸图像稀疏关键点计算仿射变换矩阵；

S4、基于所述仿射变换矩阵将所述人脸图像仿射变换到所述均值人脸尺寸的输入图像；

S5、基于所述检测模型检测人脸图像的关键点，通过逆仿射变换对关键点坐标进行还原，得到原始人脸图像中密集关键点。

进一步地，对于视频跟踪模式后续帧人脸关键点检测，所述步骤S2为：

使用上一帧图像中的稀疏关键点、脸颊点位作为人脸图像稀疏关键点。

进一步地，步骤S1之前还包括：

基于密集关键点训练生成检测模型，训练样本以所述均值人脸为标准进行一定比例的扰动增强来生成。

进一步地，通过Ordinary Procrustes Analysis求解所述仿射变换矩阵的参数。

进一步地，所述稀疏关键点包括：

左眼中心，右眼中心，左嘴角和右嘴角，其中，视频跟踪模式下所选取的包括脸颊点位的稀疏关键点为上一帧图像中检测得到的密集关键点中的一部分。