[发明专利]一种基于深度学习的快速人脸检测识别方法

权利要求书

1.一种基于深度学习的快速人脸检测识别方法，其特征在于：该方法包括离线网络搭建部分和在线流程设计部分；离线网络搭建部分是搭建与训练快速人脸检测特征提取深度学习网络框架，而在线流程设计部分是快速人脸检测和人脸识别的流程设计与展示；

离线网络搭建部分包含三个核心模块，即：快速人脸检测模块、面部关键点定位模块和人脸特征提取模块；

在线流程设计部分包括：实时人脸图像与身份证人脸图像检测与特征采集；实时人脸特征暂存入缓冲池；特征相似性度量分析；快速人脸质量评价；通过在线流程设计部分完成从实时采集人脸图像与身份证图像进行特征提取、相似性度量到得出人脸相似度，最终确定实时采集人脸图像与身份证图像是否合一；

所述的离线网络搭建部分，具体内容如下：

快速人脸检测特征提取网络搭建与训练；

参照人脑对于人脸的检测识别的过程利用神经网络进行拟合，设计的网络结构分为三个基本核心模块，即：快速人脸检测模块、面部关键点定位模块和人脸特征提取模块；

(1)快速人脸检测模块采用先构建图像金字塔，再结合级联结构和多层神经网络的快速人脸检测方法实现，其中，所采用级联结构是专门针对多姿态人脸检测的漏斗型级联结构即FuST；将不同尺寸大小的图像分别输入到相对应的网络；在经过图像金字塔的变换后，FuST级联结构在顶部由多个针对不同姿态的快速局部编码二值模式特征(LocallyAssembled Binary，LAB)级联分类器构成，首先对输入图像进行快速检测；紧接着是若干个基于加速稳健特征(Speeded Up Robust Features,SURF)的多层感知机(Multi-layerPerceptron,MLP)级联结构，粗检出输入图像中的人脸区域；最后由统一的MLP级联结构(同样基于SURF特征)来处理所有姿态的候选窗口作为精检，整体上呈现上宽下窄的漏斗形状；

(2)面部关键点定位模块采用了两级级联；CFAN级联2级栈式自编码器网络，其中每一级都刻画从人脸表观到人脸形状的部分非线性映射；在第一模块中检测到的人脸区域输入到本模块，第一级自编码器网络直接从该人脸的低分辨率版本中快速估计大致的人脸形状F₀；然后，在网络中逐步提高输入人脸图像的分辨率，并抽取当前人脸形状F₀各特征点位置的局部特征，与此同时相应提升待检测人脸图像的分辨率，输入到下一级自编码器网络来进一步优化人脸对齐结果；通过级联两个栈式自编码器网络，在分辨率的人脸图像上优化人脸对齐结果，得到最终五个面部关键特征点的精确定位，五个面部关键特征点分别为两眼中心、鼻尖和两个嘴角；

(3)人脸特征提取模块是此过程的核心步骤，采用卷积神经网络来学习特征提取器；具体而言，该核心步骤实现的是深度卷积神经网络VIPLFaceNet：包含7个卷积层与2个全连接层的DCNN；

该网络使用140万人脸图像作为训练，这些训练图像来自于约1.6万人，经过反复迭代，达到最终的模型，保存在文件当中；

所述的在线流程设计部分，具体内容如下：

此快速人脸检测识别方法的主要流程为：开启摄像头后，调用离线部分已训练好的人脸检测网络对画面中的图像进行实时检测，一旦检测到人脸图像后调用特征提取网络进行人脸的特征提取，并将特征循环存入缓冲池中，由于在人脸检测的过程中，提取特征的部分计算效率最低，因此采用缓冲池方法将此耗时步骤提前完成，节省了后续的时间，从而在第一方面实现了快速；与此同时借助身份证检测设备对于身份证进行检测，当检测到身份证后立即对身份证人脸图像进行特征提取，并与缓冲池中的特征一一进行相似性度量，与所设人脸比较的阈值进行比较；之后依据目前缓冲池中的特征数量建立相应的结果匹配映射表，得出最终的相似度的结果以及人证是否合一的判定结果；这种建立结果匹配映射表的方式是以大于阈值的匹配数量与目前总的匹配数量之比作为结果输出，不必像现有方法采用的必须到达固定的匹配结果数，这样保证了系统的实时性，同时增加了结果的置信度，并且在第二个方面实现了快速的人脸检测识别方法；

具体的步骤设计如下：

(1)实时人脸图像与身份证人脸图像检测与特征采集

为了实现快速的人脸检测识别，将整个检测过程中最耗时的特征提取步骤进行预先处理，通过摄像头对现场人脸图像进行实时采集，利用训练得到的模型对于图像进行人脸检测，一旦检测到人脸立即进行关键五点的标定以及利用训练好的网络进行2048维的人脸特征向量提取；与此同时，利用身份证读卡器对于身份证进行检测，一旦检测到身份证后立即对身份证图像进行人脸检测以及特征采集；

(2)实时人脸特征暂存入缓冲池

为了减少检测到身份证后再计算现场人脸特征这一步骤的时间消耗，设计了特征缓冲池的操作，主要目的是将第一步骤中提取到的实时人脸特征暂时保存；缓冲池采用了FIFO的list的数据结构思想，存放提取的现场10张人脸特征，并且在标准模板库(StandardTemplate Library，STL)的队列提供遍历的功能，使用指针对每一个特征进行操作，实现快速人脸检测识别；

(3)相似性度量分析

特征相似性度量分析，也就是人脸识别的本质——计算两幅图像中人脸的相似程度；考虑到精度与速度的均衡，采用Cosine计算相似度；也就是将实时人脸图像的特征与身份证图像的特征提取出来后进行相似性度量，得出每一组比较的相似度分数；

(4)快速人脸质量评价

模拟人脑对于人识别的过程，将两幅人像的相似度进行阈值比较，选定适当阈值以后，根据当前缓冲池中的所有人脸特征数量动态地映射出所满足阈值的个数，只要大于这个个数就能够判定现场人脸与身份证人脸是否为同一个人，从而快速得出人证是否合一的结论；

对于在线流程设计部分，使用FIFO的list的数据结构思想建立实时人脸特征缓冲池结构，将过程中最耗时的实时特征提取部分移到整个过程的最前端，以身份证读卡器对于身份证的检测作为触发点，并提出建立结果匹配映射表的方法，在三个方面进行创新，有效节省整个过程的时间，实现快速的人脸检测识别，得出人证是否合一的准确判断。

2.根据权利要求1所述的一种基于深度学习的快速人脸检测识别方法，其特征在于：

所述离线网络搭建部分分为3个步骤，

S1快速人脸检测模块漏斗型级联结构的搭建与训练

首先将图像按照0.5、1、2不同的倍率变换构建输入图像金字塔，之后连接FuST级联结构，此结构是在顶部由多个针对不同姿态的快速LAB级联分类器构成的，完成对输入图像的初步快速检测；紧接着是若干个基于SURF特征的多层感知机MLP级联结构，粗检出输入图像中的人脸区域；最后由一个统一的MLP级联结构即同样基于SURF特征来处理所有姿态的候选窗口作为精检，整体上呈现出上宽下窄的漏斗形状；从上往下，各个层次上的分类器及其所采用的特征逐步变得复杂，从而保留人脸窗口并排除越来越难与人脸区分的非人脸候选窗口，使得最终的结果更加准确；

S1.1在经过图像金字塔的变换后，网络起始共有150个针对不同姿态的快速LAB级联分类器构成，首先对输入图像进行快速检测；对于输入图像中的窗口x，快速判断是否是一个人脸，由所有的LAB级联分类器通过下面公式确定：

y＝c₁(x)∨c₂(x)∨...∨c_i(x)...∨c_v(x) (1)

式中，c_i表示已训练好的不同姿态的人脸LAB级联分类器，y∈{0,1}和c_i(x)∈{0,1}表示x是否是一个人脸，v表示起始网络中分类器的个数，i表示第i个分类器，∨为逻辑表示中“或”的意思，相当于集合中的并集；

S1.2基于SURF特征的三层感知机(MLP)级联结构，分别利用基于局部块提取的2，4和6层SURF特征，对上一层中难处理的窗口进行验证，粗检出输入图像中的人脸区域；MLP是由输入层、输出层和中间的一个或多个隐层组成的神经网络；n层MLP f(·)表示为

F(x)＝f_n-1(f_n-2(...f₁(x))) (2)

f_j(y)＝σ(W_jy+b_j) (3)

其中x是神经网络的输入，即候选窗口的SURF特征；W_j和b_j分别是从j层到j+1层连接的权重和偏差；激活函数σ(·)使用的为一个非线性函数，即sigmoid函数(4)；从公式(2)和(3)中可以看出，隐含层和输出层中的单元都具有非线性函数；多层感知器在训练时目的使得预测和真实之间的标签的均方误差最小化，目标函数如式(5)所示；为避免重叠带来的冗余，采用了16级的大步长；

S1.3最后的精细MLP级联包含两个阶段的单层MLP，其中包含SIFT特征，这些特征围绕着节中提到的四个语义位置进行提取，在目标函数中增加了形状预测误差的附加项，如公式(6)：

式中，F_c对应于人脸分类输出，F_s对应于形状预测输出；表示根据平均形状或预测形状从第k次训练样本中提取的形状索引特征；s_k是样本的真实形状；λ是保持两类误差之间平衡的加权因子；通过式(6)，能够得到比输入图像形状更加精确的形状的因此，在多个层叠的MLP中，用于特征提取的形状逐渐变得越来越精确，从而产生了越来越明显的形状索引特征，从而使多视图人脸与非人脸区域更容易区分开来；在网络的最后采用非最大抑制(Non-maximum suppression,NMS)的方法将最终的检测结果输出出来；

对于FuST级联结构检测器的训练数据，本方法使用来自MSRA-CFW，PubFig，和AFLW的图片作为正样本，随机裁剪40，000张不含人脸的图像作为负样本；为了增加训练集的变化，并在人脸样本中加入了随机失真；此外，所有样本都被调整为40×40进行训练；

S2面部关键点定位模块网络搭建与训练

采用由粗到精的自编码器网络来求解这个复杂的非线性映射过程，并且考虑到实际速度的问题采用了两级级联；

S2.1在第一模块中检测到的人脸区域输入到本模块，第一级自编码器网络利用全局SAN直接根据低分辨率图像上的全局原始特征快速估计大致的人脸形状F₀，给定d像素的人脸图像z∈R^d，S_g(z)∈R^p表示p个关键点的真实位置；人脸关键点检测是学习从图像到人脸形状的映射函数F，如下所示：

S2.2经过上一步得到F₀后，在网络中逐步提高输入人脸图像的分辨率，并抽取当前人脸形状F₀各特征点位置的局部特征，输入到下一级自编码器网络利用局部SAN来进一步优化人脸对齐结果，得到最终的5个面部关键特征点的精确定位；

S3人脸特征提取模块网络搭建与训练

采用的是卷积神经网络(CNN)来学习特征提取器；其实现的是深度卷积神经网络VIPLFaceNet：包含7个卷积层与2个全连接层的DCNN；

所述在线流程设计部分，具体内容如下：

在线部分，将整个检测过程中最耗时的特征提取步骤进行预先处理，之后通过摄像头对现场人脸图像与身份证人脸图像进行实时采集，利用训练得到的模型对于图像进行人脸检测与特征提取，之后计算出特征相似度，与阈值比较后经过动态结果匹配表映射，快速得出人证是否合一的准确判断；具体实施步骤设计如下：

(1)实时人脸图像与身份证人脸图像检测与特征采集

通过外接摄像头对现场人脸图像进行实时采集，利用训练得到的模型对于图像进行人脸检测，一旦检测到人脸立即进行关键五点的标定以及利用训练好的网络进行2048维的人脸特征向量提取；将过程中最耗时的实时特征提取部分移到整个过程的最前端，以身份证读卡器对于身份证的检测作为触发点，进行后续的流程，从而节省整个流程的时间成本，达到快速检测识别；

(2)实时人脸特征暂存入缓冲池

采用FIFO的list的数据结构思想，并将大小设定为10，用于存放提取的现场10张人脸特征，并且通过使用指针的方式以便利的思想对每一个特征进行操作，从而有效节省整个过程的时间，实现快速的人脸检测识别；

(3)相似性度量分析

经过上述实时人脸图像与身份证人脸图像检测与特征采集，实时人脸特征暂存入缓冲池两个步骤之后，当检测到身份证信息作为触发点，通过指针遍历的方式，将提取到的身份证人脸特征与缓冲池中的实时人脸特征调用相似度度量分析方法一一进行相似度分析，得出每一组比较的相似度分数，输入到下一步的结果映射匹配表中做最后的评价认证；使用Cosine计算方法来计算实时人脸图像特征与身份证图像特征的相似度；公式如下：

其中，使用Cosine计算方法也就是余弦相似度的计算方式,X,Y分别代表实时人脸图像与身份证图像，分别代表实时人脸图像特征向量与身份证图像特征向量，||x||,||y||分别代表实时人脸图像特征向量的模与身份证图像特征向量的模；

(4)快速人脸质量评价

经过步骤(3)之后，已经得出了多组相似性度量的分数，根据当前缓冲池中的已提取的现场人脸特征数量动态地映射出所满足阈值的个数；只要大于这个个数就判定现场人脸与身份证人脸是否为同一个人。