[发明专利]基于多摄像机融合的安检门人脸识别和人脸自动建库算法

权利要求书

1.基于多摄像机融合的安检门人脸识别和人脸自动建库算法，其特征在于：在安检门上迎着人进入的方向安装N个摄像机，N≥3，同时对采集到的视频进行人脸检测和人脸跟踪，从每路摄像机人脸跟踪得到的人脸队列里，在限定的时间周期内，由人走过安检门的平均时间计算得到，自动筛选出人脸质量评分最高的人脸M张，M≤N，每路最多筛选出1张人脸；人脸质量评估通过对光照度和清晰度的综合指标进行，人脸光照度评价指标由全局平均亮度I_AVG、亮度最高值I_MAX、亮度最低值I_MIN通过公式计算得到，同时加入光照对称性指标人脸清晰度指标通过离散余弦变换DCT后的高频系数的个数占比来统计，先将图像划分为8x8的宏块，对每个宏块进行DCT生成8x8的频域矩阵C，对频域矩阵中每个位置c_ij，直流分量除外,1≤i,j≤8，都设立一个阈值T_ij，如果DCT后的频域矩阵当前位置c_ij大于T_ij,则高频分量的计数器增加一，最终超过阈值的高频分量总个数占频域系数总个数的比值作为人脸清晰度指标QUALITY_sharpness；人脸质量综合指标QUALITY_face＝(QUALITY_brightness+QUALITY_uniformity+QUALITY_sharpness)/3×100％；通过人脸截取对应的上半身图像，对上半身图像进行边缘和颜色的匹配，匹配成功则认为是从同一个人采集得到的人脸，利用人脸姿态估计算法通过人脸三维旋转模型到二维的投影，三个角度的矩阵，计算这些人脸的水平转动角度、俯仰角、倾斜角，筛选出人脸角度比较小接近正脸的人脸K张，K≤M，人脸姿态估计算法首先进行人脸特征点提取，特征点包括眼睛、鼻子、嘴角、下巴位置，人脸特征点提取采用5个卷积层、3个池化层和1个全连接层的卷积神经网络；将这K张人脸通过特征点进行对齐校准后，输入给深度卷积神经网络进行人脸特征提取，每张人脸对应一个1024维特征向量，提取K张人脸对应的特征向量共K个；将K个特征向量分别与人脸库中的人脸特征向量进行比对，如果K张人脸在人脸库中匹配值有大于等于第一阈值的，则选首位匹配并且匹配值最高的人作为识别的最终输出，同时把首位匹配的这张抓拍人脸加入到对应的人脸库中，更新人脸数据库；如果K张人脸在人脸库中匹配值都小于第一阈值，则设立第二阈值，大于等于第二阈值，则认为暂时匹配，K张人脸里的每张人脸依次从人脸库中选出匹配张数最多的人，每个人对应多张入库人脸，匹配张数分别是L₁,...,L_K，对应的平均匹配值分别是S₁,...,S_K，通过计算匹配综合评分Score，按照Score排序，选最高Score对应的人作为最终的人脸匹配输出，同时把对应的这张抓拍的人脸加入到对应的人脸库中，更新人脸数据库；如果K张人脸在人脸库中的匹配值都小于第二阈值，则建立新的人员名单，把这K张人脸作为新建人员在人脸库中的人脸，在人脸数据库中添加该人员数据；基于以上提取到的人脸特征，通过多摄像机人脸融合比对算法进行人脸匹配和自动建库，实现非配合式人脸识别算法。

2.根据权利要求1所述的安检门人脸识别和人脸自动建库算法，其特征在于，改进型的基于Haar-like特征的Adaboost算法，即增加了3x3结构的Haar-like特征，能更好的表达人脸眼睛、鼻子和嘴等组合在一起的特征；训练时负样本从地铁安检门、机场安检门、重要场馆安检门等场景选取，形成针对安检门场景特有的人脸检测算法。

3.根据权利要求1所述的安检门人脸识别和人脸自动建库算法，其特征在于，对每个摄像机的出现的人脸进行跟踪，跟踪算法采用基于邻域搜索的卡尔曼滤波跟踪算法，以目标中心为邻域搜索起点，通过位置和速度预测，在一定范围的窗口内搜索距离当前人脸最近的候选人脸，并通过卡尔曼滤波器进行更新。

4.根据权利要求1所述的安检门人脸识别和人脸自动建库算法，其特征在于，人脸对齐校准以眼睛、鼻子、嘴角、下巴底部位置坐标为基准点，保持这些基准点的相对位置不变，将人脸图像裁剪和缩放到固定分辨率，采用的是128x112的人脸分辨率；对齐校准后，人脸特征向量由深度卷积神经网络提取，该卷积神经网络由9个卷积层、4个池化层、1个合并层和1个全连接层组成；卷积层采用3x3的卷积核，池化层采用2x2的窗口，合并层将第11和第12层的特征融合，输出给下一层；该卷积神经网络每层都进行特征归一化；该卷积神经网络训练时采用了安检门场景标定后的人脸库进行训练。