[发明专利]预测人脸图像的关键点坐标的方法和装置

说明书

提供了一种预测人脸图像的关键点(landmark)坐标的方法和装置。所述方法包括：通过卷积神经网络层获取人脸图像的多级特征图；通过全连接层将所述多级特征图中的最后一级特征图进行全连接以获取初始查询矩阵，其中，初始查询矩阵表示人脸图像的关键点的初始特征，其中，初始查询矩阵中元素的数量等于人脸图像的关键点的数量；通过对多级特征图进行展平和连接操作获取记忆特征矩阵；将记忆特征矩阵和初始查询矩阵输入级联的至少一个解码器层以确定人脸图像的关键点坐标。

技术领域

本申请涉及人脸关键点(landmark)检测技术领域，更具体地，涉及一种预测人脸图像的关键点坐标的方法和装置。

背景技术

人脸关键点检测也被称作人脸对齐，旨在自动定位人脸上的基准关键点。它是诸如人脸识别、人脸表情分析、人脸正面化、三维人脸重建的人脸分析任务的重要组成部分。

近年来，由于深度神经网络技术的快速发展，人脸关键点检测已经得到了显著的改进。现有人脸关键点检测方法主要分为两类，即基于坐标回归的方法和基于热图回归的方法。

基于坐标回归的方法将输入图像直接映射到关键点坐标。在利用深度学习框架的模型中，输入图像被馈送到CNN模型中以获得图像特征。然后经由全连接的预测层将图像特征直接映射到坐标。为了提高检测精度，坐标回归模块通常与热图回归模块级联或集成。

基于热图回归的方法首先基于给定的关键点坐标生成热图，所述关键点坐标用作真值的代理，其中，每一个热图表示关键点位置的概率。基于热图回归的模型通常通过全卷积网络预测热图，然后根据热图上的峰值概率位置获得关键点。由于基于热图的模型可以保持图像特征的空间结构，因此通常它们比基于坐标回归的模型具有更好的性能。

尽管基于热图回归的方法具有相对较高的准确度，但是该方法存在如下固有问题：1)需要后处理步骤来将热图概率输出映射到坐标中，然而后处理步骤是不可微分的，这禁用了整个框架的端到端训练；2)考虑到计算复杂度，热图的分辨率通常低于输入图像的分辨率，这不可避免地导致量化误差并限制了进一步的改进；3)手动设计真值热图的生成引入了待调谐的启发式超参数。

相比之下，基于坐标回归的方法可以绕过上述缺点并实现端到端模型训练。然而，使用全连接的预测层破坏了图像特征的空间结构。从全局特征到关键点坐标的映射就像黑盒，其中特征和预测未对准，这极大地降低了定位性能。

因此，亟需一种可以更准确地预测人脸关键点坐标的方法和装置，该方法和装置一方面能够克服基于热图的方法的上述缺点，并且可以是端到端良好训练的，而无需启发式后处理；另一方面，能够提取关键点周围的用于坐标预测的大多数相关图像特征。

发明内容

本发明的目的在于提供一种预测人脸图像的关键点坐标的方法和装置，以至少解决上述相关技术中的问题，也可以不解决任何上述问题。

根据本公开示例性实施例的一个方面，提供一种预测人脸图像的关键点坐标的方法，包括：通过卷积神经网络层获取人脸图像的多级特征图；通过全连接层将所述多级特征图中的最后一级特征图进行全连接以获取初始查询矩阵，其中，初始查询矩阵表示人脸图像的关键点的初始特征，其中，初始查询矩阵中元素的数量等于人脸图像的关键点的数量；通过对多级特征图进行展平和连接操作获取记忆特征矩阵；将记忆特征矩阵和初始查询矩阵输入级联的至少一个解码器层以确定人脸图像的关键点坐标。

本公开的示例性实施例通过简单的全连接层从骨干神经网络的最后一层提取N(人脸图像关键点的数量)个特征，并将它们用作初始查询矩阵，而不是使用随机初始化的查询矩阵，这样的设计加快了模型的收敛速度，进一步提高了预测人脸图像的关键点坐标的准确度。

可选地，每个解码器层包括级联的自注意力模块层、可变形注意力模块层和关键点坐标预测层。