[发明专利]一种基于渐进校准式网络的实时多姿态人脸检测算法

权利要求书

1.一种基于渐进校准式网络的实时多姿态人脸检测算法，其特征在于，具体步骤如下：

(1)基于CASIAWebFace数据集，先进行遮挡物标注和人脸关键点定位，然后依次遮挡人脸合成和图像旋转，构造有遮挡、旋转的人脸数据集SOR；

(2)对步骤(1)中获得的SOR中的图像进行处理，对得到的人脸候选框进行由粗到细三个阶段的检测，每一个阶段都将人脸进行一定范围的角度校准，在最后一个阶段再对校准后的人脸图像进行最终的检测和精确角度判定；具体如下：

一)第一阶段，通过由输入层、卷积核大小为3*3步长为2的第一卷积层、卷积核大小为3*3步长为2的第二卷积层、卷积核大小为3*3步长为2的第三卷积层和全连接层组成的第一阶段网络模型对大量的候选人脸框进行粗略的筛选，同时对人脸候选框进行第一次角度判别，将所有人脸都校准至正脸方向，即角度范围[-90°,90°]；

第一阶段网络模型的输入图像是对原图像使用滑动窗口的方式取得的，对于每一个滑动窗口所取得的图像，第一阶段有3个检测任务，分别是人脸/非人脸的分类、包围盒回归、旋转角度分类，如公式(1)所示：

[f,t,g]＝F₁(x) (1)

其中F₁为第一阶段的人脸检测器，f为人脸置信度得分，通过对f设置阈值即可以去除置信度低的候选人脸框，t为表示人脸包围盒的特征向量，g为人脸方向的得分，即人脸为正脸的概率；

1)人脸/非人脸分类任务：对候选框进行人脸/非人脸的预测分类，该分类任务的损失函数使用了softmax损失函数，如公式(2)所示：

2)人脸包围盒回归任务：目标是回归精准的人脸包围盒，即长宽相等的正方形，其特征向量t由包围盒左上角坐标(a,b)和宽度w三个参数组成，其具体的计算方式如公式(3)所示：

其中带*上标的为该参数对应的真实值；

对于包围盒的特征向量t的回归任务，损失函数使用了smooth L1损失函数，如公式(4)所示：

3)旋转角度分类任务：在第一阶段中，将人脸的方向进行简单的二分类处理，即朝上和人脸或朝下和倒立，其损失函数如公式(5)所示：

根据上述三个任务的损失函数，得到第一阶段整个检测任务的总体损失函数如公式(6)所示：

其中λ_reg和λ_cal均为用于调整各个损失函数间比重的平衡因子；

通过对这个损失函数的迭代优化，第一阶段的网络模型即可实现过滤大量非人脸窗口的功能，余下则作为此阶段输出的人脸候选框，同时，可依据人脸方向的得分g，如公式(7)所示，将此阶段的人脸角度θ₁做以下判别：

0°代表人脸朝上，180°代表人脸朝下；

经过第一阶段，将判断为朝下的人脸旋转180°，使得人脸被校准至朝上，即人脸旋转角度的范围从[-180°,180°]缩小为[-90°,90°]；

二)第二阶段，第二阶段网络模型由输入层、卷积核大小为3*3步长为1的第一卷积层、卷积核大小为3*3步长为2的第一激活层、卷积核大小为3*3步长为1的第二卷积层、卷积核大小为3*3步长为2的第二激活层、卷积核大小为2*2步长为1的第三卷积层和全连接层组成；

第二阶段的人脸旋转角分类为3类，即[-90°,45°],[-45°,45°]，[45°,90°]三个范围，对应的人脸旋转角3个分类如公式(8)所示：

其中g_i为经过softmax计算后的旋转角分类概率；

经第二阶段，对于旋转角度不为0的两个分类，对人脸再次做相应的旋转校准，即对[-90°,45°]内的人脸旋转90°，对[45°,90°]内的人脸旋转-90°，使得所有的人脸都将处于[-45°,45°]的正脸角度范围内；

三)第三阶段，采用由输入层、卷积核大小为3*3步长为1的第一卷积层、卷积核大小为3*3步长为2的第一激活层、卷积核大小为3*3步长为1的第二卷积层、卷积核大小为3*3步长为2的第二激活层、卷积核大小为2*2步长为1的第三卷积层、卷积核大小为2*2步长为2的第三激活层、卷积核大小为2*2步长为1的第四卷积层和全连接层组成的第三阶段网络模型对候选人脸框进行精确的人脸检测、包围盒回归以及计算确切的人脸偏转角度；经过第三阶段网络模型对候选人脸框的处理，得到该阶段对旋转角度的精确预测值θ₃，再结合前两阶段的校准角度θ₁和θ₂，计算出人脸完整的平面旋转角度θ_RIP，如公式(9)所示：

θ_RIP＝θ₁+θ₂+θ₃ (9)。