[发明专利]结合人脸关键点检测的人脸相对姿态估计方法

说明书

本发明公开了一种结合人脸关键点与RGB‑D数据进行人脸相对姿态估计的方法。该方法通过对RGB图像上人脸关键点的识别并计算初始姿态角度差，以及结合深度数据，通过对RGB‑D点云进行匹配来得到不同角度之间的人脸的较高精度的相对姿态估计。不同于之前的识别方法，该方法使用了RGB‑D数据，且对数据集的大小要求较低，在小样本的数据上就可以实现高精度的相对姿态估计。而且还结合了人脸关键点信息，增强了姿态估计的鲁棒性。

技术领域

本发明属于图像识别、人脸关键点识别、人脸姿态估计，特别地涉及一种基于RGB-D数据和人脸关键点的人脸相对位姿估计方法。

背景技术

人脸相对姿态有着比较重要的研究价值。其目标是根据一对不同角度的人脸RGB-D数据，精准估计出二者之间的相对姿态。人脸相对姿态估计有以下主要应用场景：

(1)注意力检测：通过判断头部姿态可以判断人的注意力情况。比如可以检测长途司机是不是在目视前方，长时间不目视前方的话，可以提前敲打，保证安全，减少事故；再比如监控学生上课时是否集中精力等。

(2)行为分析。和(1)类似，通过视频监控分析再辅助其他算法可以判断一个人是否具有不轨行为，做到提前预警，防患于未然。

(3)人机互动。人的头部动作有时可以表示意义，传递信息。摇头在大多数人看来是否认，点头表示同意，长时间低头说明可能正在思考问题。如果机器人能理解这样的行为，将提高人机交互的质量和有效性。

(4)视线追踪，也可以称为眼球跟踪。准确的头部姿态估计能够提高视线追踪的精度。视线追踪可以用在游戏领域，比如用眼睛就可以控制游戏内人物的移动，让体感操作更上一层楼。

对于人脸相对姿态估计，大体可以分为两个流派。第一种是基于特征的方法。在这种方法中，通过传统方法对人脸上特征的分析并与标准正脸的特征相比较，得到两种特征之间的差别，对特征之间的差别进行分析可以得到相对的姿态估计。

而另一种则是主要基于深度学习的方法。通过设计不同结构的深度学习网络，对当前人脸的特征进行提取并回归角度，得到当前人脸的姿态。随着计算资源的发展，这类方法逐渐变得火热，但是极大地受到模型大小的限制以及对精度的要求。

点云可以在三维空间中比较准确的反映出物体表面的真实大小与形状结构，是一种对物体比较原始的三维结构表征，随着数据获取变得容易逐渐成为了计算机视觉领域的一种比较重要的数据结构。

发明内容

本发明的目的在于提供一种基于RGB-D数据的结合人脸关键点检测的人脸相对姿态估计方法。该方法通过关键点检测以及引入点对特征来进行迭代最近点的方法，实现了对一组不同角度的人脸进行相对姿态估计的过程。在本发明中，使用点云来进行估计比单纯使用RGB图像来估计结果要更精准，将相对姿态估计的过程融合进点云匹配过程可以最大程度地提高结果精度。

为实现上述目的，本发明的技术方案为：结合人脸关键点检测的人脸相对姿态估计方法。该方法为：首先使用人脸关键点检测技术，对人脸的68个关键点进行提取并利用两组关键点的三维坐标间的匹配进行第一次的相对姿态的估计。在第一次的基础上，第二次的相对姿态估计有了比较好的初值，同时再对面部进行裁剪，使得迭代最近点算法前的预处理最优化，最后对六维坐标的点对特征进行迭代的匹配，在匹配的过程中得到相对姿态的估计。

具体地，本发明方法包括如下步骤：

步骤1：在已有RGB-D数据的情况下，采用Dlib人脸关键点检测CNN模型对两张对应角度的RGB图像I_source和I_target进行包含脸部轮廓、嘴巴、眼睛、鼻子等部位共68个人脸关键点检测，从中选取多个对应关键点的RGB-D三维坐标点{KeyPoint_snum}和{KeyPoint_tnum}，进行两组三维坐标点的匹配得到人脸姿态相对估计的初始旋转矩阵R_start。