[发明专利]面向监控视频的人脸检测与搜索方法

权利要求书

1.一种面向监控视频的人脸检测与搜索方法，其特征在于，包括以下步骤：

S1 训练人脸检测器；

S2 输入待进行人脸识别与搜索的监控视频帧，利用S1得到的人脸检测器对其进行检测，得到监控视频帧中的人脸区域I_f，在人脸区域I_f中进行五官定位，得到监控视频人脸五官定位结果；

S3 确定目标人脸图像，对目标人脸图像进行五官定位，得到目标人脸五官定位结果；

S4 基于S2中获得的监控视频人脸图像的五官定位结果和S3中获得的目标人脸图像的五官定位结果，计算两者全脸及局部五官相似度；

S4.1：预先收集大量左眉样本作为左眉样本训练集，按照特异性将左眉样本训练集中的各左眉样本进行分类，将各左眉样本中的左眉分为如细眉、浓眉、一字眉、弯折眉等典型类别，设左眉的典型类别数k₁，利用分类后的左眉样本训练集训练针对左眉的卷积神经网络；

S4.2：将S2中得到的监控视频人脸图像中左眉图像输入到S4.1训练后得到的左眉卷积神经网络，输出特征向量

S4.3：计算特征向量与S4.1中训练用典型模板特征向量中欧氏距离相似度最大的一类S_i0，该最大欧氏距离相似度P_i0作为分类为该类别的概率；

S4.4：采用与S4.1～S4.3相同的步骤方法，计算监控视频人脸图像中其它五官部件经对应CNN分类结果为S_i0，对应该类的概率为P_i0，i＝2,3,…6，分别表示右眉、左眼、右眼、鼻、嘴；

S4.5：采用与S4.1～S4.4相同的步骤方法，计算S3中得到的目标人脸图像中的五官部件经对应CNN分类结果为S_i1，对应该类的概率为P_i1，i＝1,2,3,…6，分别表示左眉、右眉、左眼、右眼、鼻、嘴；

S5 计算监控视频人脸图像和目标人脸图像的概率融合相似度p，得到搜索匹配结果；其中概率融合相似度p为

判断概率融合相似度p的大小，如其大于某一预设阈值，则认为监控视频图像中的人脸图像与目标人脸图像相似，返回搜索匹配结果。

2.根据权利要求1所述的面向监控视频的人脸检测与搜索方法，其特征在于，S1中人脸检测器的训练方法如下：

S1.1 创建训练数据集；

S1.2 对训练数据集中所有监控视频图像中的人脸区域进行标注并对各监控视频图像均生成其对应的标注文件；

S1.3 将训练数据集中的监控视频图像按照一定比例随机分为训练集和测试集；训练集用于建立训练模型，测试集用于测试所述训练模型的泛化能力；

S1.4 利用YOLO V3进行训练、测试，最终生成训练后的人脸检测器。

3.根据权利要求2所述的面向监控视频的人脸检测与搜索方法，其特征在于，S1.1中，训练数据集包括不少于1万张含有不同人脸图像的监控视频图像，且各监控视频图像中人脸图像的区域尺寸涵盖范围是从20×20像素到256×256像素。

4.根据权利要求3所述的面向监控视频的人脸检测与搜索方法，其特征在于，S2中利用S1得到的人脸检测器对待进行人脸识别与搜索的监控视频帧进行检测得到人脸区域I_f，该人脸区域I_f的宽度＝高度＝D_I，对其按照以下步骤进行五官定位：

S2.1：基于Dlib人脸关键点检测方法从人脸区域I_f检测人脸五官关键点，人脸五官关键点分布在全脸轮廓以及左眉、右眉、左眼、右眼、鼻子、嘴唇；

S2.2：鼻尖作为S2.1中检测到的一个人脸五官关键点，以鼻尖为几何中心，1.5×D_I为边长，从该帧图像中裁剪出正方形人脸区域，并将该正方形人脸区域尺寸缩放到128×128像素，得到尺寸归一化人脸区域I_fs；

S2.3：对I_fs再次利用Dlib人脸关键点检测方法检测分布在全脸轮廓以及左眉、右眉、左眼、右眼、鼻子、嘴唇上的人脸五官关键点，得到全脸五官关键点分布图像；并根据得到的全脸五官关键点分布图像裁剪出I_fs中的左眉、右眉、左眼、右眼、鼻子、嘴唇六种局部图像。