[发明专利]一种结合面部角度信息的多姿态人脸验证方法

权利要求书

1.一种结合面部角度信息的多姿态人脸验证方法，其特征在于，包括：

步骤1，获取样本，并构建样本信息库；

步骤2，获取待测目标的原始人脸图像，得到所述待测目标的面部角度信息，并确定所述待测目标的姿态标志参数；

步骤3，生成所述待测目标的正面化图像和样本信息库中每个样本的姿态化图像；

步骤4，提取所述待测目标的正面化特征，以及所述待测目标和样本信息库中每个样本的姿态化特征；

步骤5，对所述待测目标与所有样本进行特征比对，分别计算所述待测目标与所有样本的正面化相似度和姿态化相似度；

步骤6，根据所述正面化相似度和姿态化相似度计算待测目标与所有样本的最终相似度，得到并输出所述待测目标的验证结果。

2.根据权利要求1所述的一种结合面部角度信息的多姿态人脸验证方法，其特征在于，所述步骤1，包括：

步骤1-1，通过6DoF 3D人脸姿态估计方法，以所述样本的正面图像作为人脸图像，进行人脸姿态估计，得到人脸边界框，所述人脸边界框包括人脸边界点坐标以及人脸边界宽和高；

步骤1-2，根据所述人脸边界框，剪裁所述样本的正面图像得到对应的正面人脸框图，所述正面人脸框图即样本的正面化图像；

步骤1-3，将所有已知正面图像和身份信息的样本构成样本库，用于产生人脸验证的可能结果，所述身份信息包括用户唯一标识和姓名；

步骤1-4，使用已训练好的以ArcFace为损失函数的ResNet特征提取网络，根据所述样本的正面图像提取得到正面化特征，将所有所述样本的正面化特征构成样本特征库，用于存储所述所有样本的正面化特征；

步骤1-5，对所有所述样本根据步骤1-1至步骤1-4进行处理，根据所述样本的身份信息、正面化图像和正面化特征构成样本信息库，所述样本信息库的表达式如下：

其中，feature_gallery表示样本信息库，identity_i表示样本i的身份信息，front_i表示样本i的正面化图像，feature_front(i)表示样本i的正面化特征。

3.根据权利要求1所述的一种结合面部角度信息的多姿态人脸验证方法，其特征在于，所述步骤2，包括：

步骤2-1，获取所述待测目标的原始人脸图像后，通过6DoF 3D人脸姿态估计方法得到所述待测目标的人脸的检测边界框和面部角度信息，所述面部角度信息包括待测目标面部的俯仰角、偏航角和翻滚角，所述检测边界框包括检测边界点坐标以及检测边界的宽和高；

步骤2-2，根据所述检测边界框，裁剪所述待测目标的原始人脸图像得到待测目标的人脸框图，所述人脸框图即待测目标的姿态化图像；

步骤2-3，将所述待测目标面部的俯仰角、偏航角和翻滚角通过sigmoid函数非线性映射得到俯仰系数、偏航系数和翻滚系数；

计算得到俯仰系数包括：先将俯仰角取绝对值，再通过sigmoid函数将俯仰角的绝对值非线性映射到(0,1)范围，俯仰系数的表达式如下：

其中，pitch_coefficient表示俯仰系数，pitch表示俯仰角；σ是一个sigmoid函数，m为sigmoid函数的自变量，自变量m的取值范围为(-∞，+∞)；

类似地，计算得到偏航系数和翻滚系数：

其中，yaw_coefficient表示偏航系数，yaw表示偏航角，roll_coefficient表示翻滚系数，roll表示翻滚角；

步骤2-4，以所述俯仰系数、偏航系数和翻滚系数中的最大值，作为所述待测目标的姿态标志参数，所述待测目标的姿态标志参数的表达式如下：

λ_pose＝max(pitch_coefficient,yaw_coefficient,roll_coefficient)

其中，λ_pose表示待测目标的姿态标志参数，待测目标的姿态标志参数λ_pose的取值范围为(0,1)；

当所述待测目标的姿态标志参数λ_pose趋于0时，表示待测目标趋于正脸姿态；

当所述待测目标的姿态标志参数λ_pose趋于1时，表示待测目标趋于极端大的姿态；所述极端大的姿态指由于头部在三维空间坐标系中绕三个轴的旋转而造成的极大部分面部信息缺失的面部姿态，所述面部信息包括有身份辨识度的、能够起到身份标识性作用的面部信息。