[发明专利]基于多人脸数据采集策略和深度学习的课堂考勤方法

摘要

本发明公开了一种基于多人脸数据采集策略和深度学习的课堂考勤方法，用于解决现有基于人脸识别的考勤方法识别率差的技术问题。技术方案是利用AdaBoost算法和肤色模型进行多目标检测和提取。只需一次对所有参与考勤的人脸拍摄一段视频，并对视频序列中的人脸进行检测、提取，完成人脸数据库的建立。基于深度学习的人脸识别方法，以深度卷积神经网络LeNet‑5模型为基础，应用简化的LeNet‑5模型对人脸数据库中不同场景下的人脸特征进行学习，通过多层非线性变换得到新特征表示。这些新特征尽可能多的去掉了如光照、噪声、姿态和表情等类内变化，而保留身份不同产生的类间变化，提高了人脸识别方法在实际复杂场景下人脸识别率。

主权项

1.一种基于多人脸数据采集策略和深度学习的课堂考勤方法，其特征在于包括以下步骤：(a)人脸数据获取；对被采集者脸部拍摄30秒的视频序列，在视频拍摄过程中，采集者制订一系列规则来模拟实际考勤中人脸可能发生的变化；包括微笑、皱眉的表情变化和张嘴、抬头、低头、改变面部朝向的动作变化；被采集者根据采集者的要求在视频拍摄过程中进行表情、动作变化；(b)利用AdaBoost算法结合肤色模型进行多人脸检测；将AdaBoost算法与肤色模型结合，通过AdaBoost算法定位人脸位置，再运用肤色模型对其进行肤色校验，方法如下：①利用Adaboost算法生成用于人脸检测的分类器，进行初步地人脸检测；②采用肤色模型校验Adaboost初步确定的人脸区域，通过将图像中的像素与标准肤色比较，区分图像中的肤色区域和非肤色区域；设置标准肤色范围时，采用三种颜色空间：RGB色彩空间、HSV色彩空间、YCbCr色彩空间；设置两个RGB标准肤色模型；模型一的阈值范围：G>40、B＞20、R>G、R>B、MAX(R,G,B)‑MIN(R,G,B)>15；模型二的阈值范围：R>220、|R‑G|<15、R>G、R>B；采用公式(1)(2)(3)(4)将RGB颜色转换为HSV颜色，设置HSV标准肤色阈值范围：0式中，H为色调；其中，式中，R为红色通道的值，G为绿色通道的值，B为蓝色通道的值；式中，S为饱和度；式中，V为明度；利用公式(5)将RGB颜色转换为YCbCr颜色，之后设置YCbCr标准肤色阈值范围为：Y>20、135式中，Y为亮度分量，Cb为蓝色色度分量，Cr为红色色度分量；(c)约束人脸中心位置出现的范围；①从所采集的视频序列中抽取20帧图像，利用公式(6)计算每一帧间的间隔g式中t为所拍视频长度，f为所拍摄视频每一秒的帧数；②通过AdaBoost算法和肤色模型对所抽取的20帧图像进行检测后，将检测得到的人脸坐标进行保存，利用公式(7)、(8)计算不同人脸中心坐标的平均值式中，(xr，yr)为检测到的人脸右下角坐标，(xl，yl)为左上角坐标；将计算得到的平均值与实际图像中的人脸中心坐标进行对比，得到人脸中心坐标的误差范围，根据所得误差范围添加约束条件xc‑m≤xc_real≤xc+m    (9)yc‑n≤yc_real≤yc+n    (10)式中，(xc_real，yc_real)为实际检测得到的人脸中心位置坐标；(d)提取检测到的人脸并处理，完成人脸数据库的建立；提取检测到的人脸，将其转化为大小为28×28像素的人脸灰度图像；将处理后的人脸图像按约束条件的不同进行存储，完成实际考勤人脸数据库的建立；(e)训练模型；将人脸数据库中大小为28×28像素的人脸灰度图像作为训练数据输入深度卷积神经网络模型进行多次迭代训练，完成模型的训练；具体训练过程如下：训练过程分为两个步骤：前向传播及反向传播；①前向传播的目的是将训练数据送入网络以获得激励响应；包括一层卷积层和一层下采样层；首先对卷积层进行处理，在第l层卷积层上应用公式(11)得到卷积层l提取的卷积特征；式中，为卷积层l的卷积特征，M_j为选择输入的特征图集合，为卷积层l上的卷积核，为卷积层l上的偏置值，通过激活函数f得到卷积层l的卷积特征；得到卷积层的卷积特征后，应用公式(12)对卷积特征进行下采样处理，即对不同位置的特征进行聚合统计；式中，down(·)为下采样函数，β为乘性偏置，b为加性偏置；②反向传播，通过最小化残差对权重和偏置进行调整；包括一层卷积层和一层下采样层；对于卷积层，下一层为下采样层的，利用公式(13)计算残差；式中，up(·)为一个上采样函数，о表示矩阵中对应元素相乘；其中，ul＝Wlxl‑1+bl    (14)xl＝f(ul)    (15)式中，f为激活函数；由得到的残差应用公式(16)计算偏置b的梯度；式中，u，v表示特征图中的坐标值；定义为卷积时与逐元素相乘的n×n的像素块，应用公式(17)计算得到卷积核梯度；输出的卷积特征图的(u,v)位置的值是上一层中(u,v)位置的n×n的像素块与卷积核kij逐元素相的结果；对下采样层进行处理，下采样层的下一层为卷积层，应用公式(18)计算下采样的特征图残差；式中，表示将卷积核矩阵旋转180°，即将矩阵元素按照对角线进行交换；conv2为全卷积函数，′full′表示对全卷积得到的矩阵空缺处以0补全；得到残差后，再应用公式(19)计算偏置b的梯度；式中，u，v表示特征图中的坐标值；定义利用已求得的残差应用公式(20)计算卷积核梯度；③输出层，对特征进行分类；其实质是一个分类器，采用softmax分类器，解决多分类问题；(f)使用测试数据对训练好的模型进行测试；①测试数据的获取；应用中，对所有被采集者拍摄图像；检测图像中出现的人脸，将检测到的人脸进行处理，得到大小为28×28像素的人脸灰度图像，并将处理后的图像保存为测试数据；②将测试数据输入已训练好的模型，模型对输入的测试数据进行识别，输出其对应的训练集上的人脸标签，完成人脸识别；(g)通过调整卷积神经网络的层数、每层网络的卷积核个数和学习率，进行多次实验，即重复步骤(e)和步骤(f)，并对实验结果进行对比，选择识别率最高的模型参数，对参数及训练模型进行保存。