[发明专利]关键点检测方法及装置、电子设备和存储介质

说明书

本公开涉及一种关键点检测方法及装置、电子设备和存储介质。所述方法包括：获取人脸图像；利用目标神经网络包括的至少两个神经网络分支，对人脸图像中人脸以及至少一个人脸器官进行检测，得到人脸关键点信息集合，人脸关键点信息集合包括人脸的关键点信息以及人脸器官的关键点信息；其中，至少两个神经网络分支包括用于检测人脸的第一网络分支和用于检测人脸器官的至少一个第二网络分支，第一网络分支输出的第一检测结果包括至少一个人脸器官的检测框信息，至少一个人脸器官的检测框信息作为各第二网络分支的其中一种输入数据，用于确定各第二网络分支对应的人脸器官的检测区域。

技术领域

本公开涉及计算机视觉领域，尤其涉及一种关键点检测方法及装置、电子设备和存储介质。

背景技术

人脸关键点检测是诸多人脸相关应用的基础，可以为人脸识别等技术提供位置矫正，也为增强现实、美妆特效等场景提供人脸的语义信息。因此如何检测人脸关键点，成为目前一个亟待解决的问题。

相关方法中，会在获取人脸的整脸关键点以后，再基于人脸的整脸关键点，利用人脸关键点分别从原图中截取多次人脸的器官，然后再将截取出的多个器官分别输入到各自对应的人脸器官关键点检测模型中，这种方式处理不仅时间长效率低，且由于多次截取操作的截取标准(比如截取尺寸，截取精度等)并不统一，故得到的多个人脸器官关键点的位置的精确度也不同，影响后续应用过程人脸关键点的使用效果。

发明内容

本公开提出了一种关键点检测方案。

根据本公开的一方面，提供了一种关键点检测方法，包括：

获取人脸图像；利用目标神经网络包括的至少两个神经网络分支，对所述人脸图像中人脸以及至少一个人脸器官进行检测，得到人脸关键点信息集合，所述人脸关键点信息集合包括人脸的关键点信息以及人脸器官的关键点信息；其中，所述至少两个神经网络分支包括用于检测人脸的第一网络分支和用于检测人脸器官的至少一个第二网络分支，所述第一网络分支输出的第一检测结果包括至少一个人脸器官的检测框信息，所述至少一个人脸器官的检测框信息作为各所述第二网络分支的其中一种输入数据，用于确定各所述第二网络分支对应的人脸器官的检测区域。

在一种可能的实现方式中，所述第二网络分支包括感兴趣区域校准层和特征提取层；所述利用目标神经网络包括的至少两个神经网络分支，对所述人脸图像中人脸以及至少一个人脸器官进行检测，得到人脸关键点信息集合，包括：通过所述第一网络分支对所述人脸进行检测，得到第一检测结果，所述第一检测结果包括人脸的关键点信息以及至少一个人脸器官的检测框信息；通过各所述第二网络分支的感兴趣区域校准层，提取与所述至少一个人脸器官的检测框信息分别匹配的人脸器官的检测区域；通过各所述第二网络分支的特征提取层，提取与所述至少一个人脸器官对应的检测区域的图像特征，并利用所述检测区域的图像特征得到所述至少一个人脸器官的关键点信息。

在一种可能的实现方式中，所述通过各所述第二网络分支的感兴趣区域校准层，提取与所述至少一个人脸器官的检测框信息分别匹配的人脸器官的检测区域，包括：根据所述至少一个人脸器官的检测框信息，确定所述至少一个人脸器官在所述人脸图像中的位置坐标；通过各所述第二网络分支的感兴趣区域校准层，在所述位置坐标的精度下，提取与所述至少一个人脸器官的检测框信息分别匹配的人脸器官的检测区域。

在一种可能的实现方式中，所述人脸器官的检测区域包括：从所述人脸图像中提取的与人脸器官区域，和/或，从所述第一网络分支输出的人脸图像的特征信息中提取的人脸器官区域的特征信息。

在一种可能的实现方式中，在所述通过各所述第二网络分支的感兴趣区域校准层，提取与所述至少一个人脸器官的检测框信息分别匹配的人脸器官的检测区域之前，还包括：对所述至少一个人脸器官的检测框信息进行增强处理，其中，所述增强处理包括：伸缩变换处理和/或平移变换处理。