[发明专利]结合人脸关键点检测的人脸相对姿态估计方法

权利要求书

1.一种结合人脸关键点检测的人脸相对姿态估计方法，其特征在于，该方法包括如下步骤：

步骤1：对两张对应角度的RGB图像I_source和I_target进行人脸关键点检测，从中选取多个对应关键点的RGB-D三维坐标点{KeyPoint_snum}和{KeyPoint_tnum}，进行两组三维坐标点的匹配得到人脸姿态相对估计的初始旋转矩阵R_start；

步骤2：根据步骤1中的二维关键点坐标，在RGB图像I_source和I_target中分别裁剪大小不同的区域用来匹配；其中I_source裁剪区域I′_source大于I_target裁剪区域I′_target；

步骤3：对步骤2中得到两个姿态对应的人脸区域I′_source和I′_target进行下采样，得到对应的人脸区域I″_source和I″_target，对于I″_target中的点，选取其中点集t∈I″_target，同时在I″_source中选取点集s∈I″_source；计算点集中每一点P_i∈t与点集中其他所有点P_j∈t并且i≠j的点对特征FP_ij，得到FP_ij组成的矩阵FP_mat，大小为N_P*N_P，其中N_P为点集中点的数量；以同样方式计算Q_i∈s的点对特征FQ_ij组成的矩阵FQ_mat，大小为N_Q*N_Q；将点对特征矩阵FP_mat和FQ_mat中的特征FP_ij和FQ_ij进行哈希并保存到哈希表H中，对于最匹配的点对特征分配相同的哈希值，由此在两个点集t和s中找到对应的点对并形成点集，分别为PP_t和PP_s；利用奇异值分解的方法，计算PP_t和PP_s之间的旋转矩阵R和空间平移T；迭代直到||PP_s-PP_t||小于一定阈值ε或迭代次数达到一定次数后停止迭代；

步骤4：将步骤1中得到的旋转矩阵R_start与步骤3迭代多次得到的旋转矩阵R和空间平移T进行矩阵相乘计算，得到旋转矩阵R_final；用旋转矩阵与欧拉角之间的变换关系，得到相对姿态的估计结果{angle_x，angle_y，angle_z}。

2.根据权利要求1所述的方法中，其特征在于，所述步骤1中，对两组关键点{KeyPoint_snum}和{KeyPoint_tnum}的匹配，匹配点编号固定为snum，tnum＝31，37，46，49，55，分别为2个外眼角、2个外嘴角、鼻尖。

3.根据权利要求1所述的方法，其特征在于，所述的步骤2中对人脸区域的裁剪基于人脸关键点的二维坐标，方法具体如下：

人脸的裁剪区域为矩形，矩形的四条边由关键点坐标{X_snum，Y_snum}和{X_tnum，Y_tnum}的两个维度上的最大值和最小值决定；其中，I_source裁剪区域I′_source的边界在4个最值的基础上再向外扩5个像素，而I_target裁剪区域I′_target的边界在4个最值的基础上再向内缩5个像素。