[发明专利]基于焦点损失和多任务级联的人脸检测方法

说明书

本发明公开了一种基于焦点损失和多任务级联的人脸检测方法，属于计算机视觉技术领域。本发明使用深度学习技术，将焦点损失与多任务级联卷积神经网络相结合来进行人脸检测。首先基于深度学习构建多任务级联卷积神经网络模型，对多任务损失函数进行焦点损失优化；并在网络训练阶段使用在线困难样本挖掘和多尺度训练优化。采用我们设计的人脸检测方法可以有效提高在各种无约束场景中进行人脸检测的平均精度。

技术领域

本发明属于计算机视觉技术领域，特别是涉及基于焦点损失和多任务级联的人脸检测方法。

背景技术

自七十年代以来，人脸识别就成为了计算机视觉领域的研究热点之一。传统的人脸识别方法通过手工提取特征，这种方法在对无约束场景中的各种复杂人脸情况进行检测时，有很大的局限性，无法满足实际的应用需求。随着深度学习的兴起，基于卷积神经网络的深度学习方法开始展现出其优越性，基于手工特征和机器学习的传统方法开始被大型数据集训练的深层神经网络所取代。

人脸检测是人脸识别的第一步，也是人脸识别系统中最重要的模块之一。它是目标检测的一种特殊场景，同时也是目标检测中最重要和最受关注的研究场景。将卷积神经网络应用到目标检测是目前的研究趋势之一。目前网络上已经能够提供许多公开的大规模人脸数据集，这些数据集中的图像包含了现实世界中的各种复杂情况。使用这些公开数据集来训练神经网络模型，能够实现很高的人脸检测精度。

针对人脸检测问题，已经出现了一系列基本的基于卷积神经网络的算法，包括区域卷积神经网络算法、级联卷积神经网络算法等等。如今人脸检测可以很容易地检测到近距离正面的人脸。而对于一些无约束不可控的人脸检测问题依然面临很大的挑战，如遮挡、姿势、表情和光照条件等诸多因素都会导致人脸外观的视觉变化，并可能严重影响人脸检测的准确性。在复杂环境下，比如人口较密集的公共场所，如服务大厅、室外广场等，对于大量不同的人员进行准确及时的人脸检测，相关的方法还需要进一步的研究改进。另外在进行人脸检测时经常会出现类别失衡问题，因为在一张输入图像中，人脸这个需检测的目标所占比例一般远小于背景所占比例，在人脸检测中，认为人脸为正样本，背景等为负样本，所以该分类问题中以负样本为主，带来了类别不平衡问题。因此人脸检测方法的研究依然具有重大意义。

基于深度学习的人脸检测方法的主要思想是使用卷积神经网络，用人脸数据集训练深度神经网络，让网络学习到人脸的图像特征并用来检测图像中的所有人脸。同时在复杂的场景下，单独的人脸检测往往无法拥有很好的性能，因为人脸检测是目标检测的一种最常见的特例，不考虑其人脸的特殊性，会忽视人脸相对于普通目标的生物特征。因此可以考虑人脸检测和后续人脸对齐之间的内在联系，将人脸属性识别作为辅助，利用深度卷积神经网络在人脸检测同时考虑人脸对齐，来提高整体的检测性能。

发明内容

为了解决无约束场景中人脸检测的问题，本发明提供基于焦点损失和多任务级联的人脸检测方法，使用深度学习人脸检测技术，针对复杂场景下的人脸检测问题，将焦点损失与多任务级联卷积神经网络相结合来进行人脸检测，为达此目的，本发明提供基于焦点损失和多任务级联的人脸检测方法，具体步骤如下：

(1)构建多任务级联卷积神经网络模型，对多任务损失函数进行焦点损失优化，具体步骤为：

步骤1.1：先将输入图片调整为不同比例的大小，建立一个图像金字塔，构建多任务级联卷积神经网络第一层建议网络，它是一个全卷积网络，作为人脸区域的区域建议网络用来生成候选框，对于不同缩放比例的图像金字塔，将输入图片resize到大小为12*12，利用全卷积神经网络将输入经过三个卷积层进行初步特征提取，获得候选建议窗口以及它们的边框回归向量，然后使用边框回归向量用来校准候选窗口，再用非极大值抑制合并高度重叠的候选窗口，使用全卷积输出1*1*32的特征，这一步的输出只有N个边界框坐标信息的四个参数和分类得分，坐标信息的四个参数通过边框回归支路的输出进行修正，分类得分为人脸分类支路的输出，代表它是人脸的概率，再对人脸的分类损失函数采取焦点损失优化，得到的人脸分类损失函数和回归损失函数分别为：