[发明专利]基于焦点损失和多任务级联的人脸检测方法

权利要求书

1.基于焦点损失和多任务级联的人脸检测方法，具体步骤如下，其特征在于：

(1)构建多任务级联卷积神经网络模型，对多任务损失函数进行焦点损失优化，具体步骤为：

步骤1.1：先将输入图片调整为不同比例的大小，建立一个图像金字塔，构建多任务级联卷积神经网络第一层建议网络，它是一个全卷积网络，作为人脸区域的区域建议网络用来生成候选框，对于不同缩放比例的图像金字塔，将输入图片resize到大小为12*12，利用全卷积神经网络将输入经过三个卷积层进行初步特征提取，获得候选建议窗口以及它们的边框回归向量，然后使用边框回归向量用来校准候选窗口，再用非极大值抑制合并高度重叠的候选窗口，使用全卷积输出1*1*32的特征，这一步的输出只有N个边界框坐标信息的四个参数和分类得分，坐标信息的四个参数通过边框回归支路的输出进行修正，分类得分为人脸分类支路的输出，代表它是人脸的概率，再对人脸的分类损失函数采取焦点损失优化，得到的人脸分类损失函数和回归损失函数分别为：

其中p_i表示网络预测结果中样本是人脸的概率，表示真实分类标签，α表示不同类别的权重系数，γ表示焦点损失的聚焦参数，表示回归目标并从网络获得，为真实边界框坐标，各有四个参数，包括边界框的左顶点横纵坐标、高度和宽度，因此

从而得到该层卷积神经网络目标函数为：

其中N是训练样本数量，δ表示该任务在多任务中的重要性权重参数，β代表样本类型；

步骤1.2：构建多任务级联卷积神经网络第二层细化网络，相比建议网络增加了一个全连接层，能对输入数据做更进一步的筛选，从而达到高精度过滤和人脸区域优化的效果；

将输入图片resize到大小为24*24，上一步的所有候选窗口都被送到该网络，进一步挑选并去除大量的错误候选，然后再用边框回归进行校准，同样再使用非极大值抑制对候选窗进行合并，在最后一个卷积层之后使用了一个128维的全连接层，保留更多的图像特征，这一步的输出只有M个边界框坐标信息的四个参数和分类得分，坐标信息的四个参数也通过边框回归支路的输出进行修正，同样对人脸的分类损失函数采取焦点损失优化，得到的人脸分类损失函数和回归损失函数以及该层卷积神经网络目标函数为分别为：

其中参数定义与步骤1.1中相同；

步骤1.3：构建多任务级联卷积神经网络第三层输出网络，相比细化网络再多加一个卷积层，使用更复杂的网络对模型性能进行优化，将输入图片resize到大小为48*48，多加的一层卷积层利用更多的监督信息来识别面部的区域，并对人的面部特征点进行回归，最终输出5个确定的人脸关键点的位置，在网络结构的最后同样是一个更大的256维全连接层，输出包含P个边界框坐标信息的四个参数、分类得分和人脸关键点的位置信息，同样对人脸的分类损失函数采取焦点损失优化，得到的人脸分类损失函数回归损失函数和人脸关键点定位损失函数以及该层卷积神经网络目标函数为分别为：

其中和的参数定义与步骤1.1中相同，表示从网络中获得的人脸特征点坐标参数，为真实人脸特征点坐标，因为需要检测的人脸特征为人脸上的5个特征点，包括左眼、右眼、鼻子、嘴左边界和嘴右边界，因此一共有10个参数，目标函数增加了人脸关键点定位损失函数，参数定义不变；

任务级联卷积神经网络模型，对多任务损失函数进行焦点损失优化，

(2)在网络训练阶段使用在线困难样本挖掘和多尺度训练优化；

步骤2.1：网络进入训练阶段，进行在线困难样本挖掘，将输入的训练数据分为小批量，在每个小批量中，在前向传播阶段计算所有样本的损失，并对它们进行排序，并选择其中的前70％作为困难样本，然后只计算后向传播阶段的困难样本的梯度，根据这些损失最大的70％样本来后向传播更新网络模型的权重参数；

步骤2.2：在训练网络时使用多尺度训练方式，在训练过程中，在训练过程中通过resize调整原始图像的大小，为每张图像设计一个多比例的表示，这样在测试过程中模型对于检测很多低分辨率的人脸目标会更加适应，使用标准的随机梯度下降算法以端到端的方式来训练，将训练得到的网络模型用于人脸检测。