[发明专利]基于人体跟踪的多人脸识别方法

说明书

本发明公开了一种基于多目标跟踪的自适应人脸识别方法。本发明通过YOLOv3目标识别获取图中各单人体坐标，利用多目标跟踪技术，根据人体坐标实现各人体目标的跟踪，同时，根据人体坐标将图像截取出来，送入人脸识别模型，当识别出具体人名后，便将人名标识在其人体名称属性中，若未识别则标识上述名称属性为“未识别”；下一帧对检测跟踪的人体，查看人体名称属性若为具体人名，则不改变人体名称属性内容，若被标识“未识别”，则再次截取该人体图像送入人脸检测进行识别，并根据结果更新人体名称属性中。本发明通过目标检测、多目标跟踪、人脸识别，实现视频图像中人脸确定身份后，不再进行二次检测。

技术领域

本发明涉及计算机视觉领域，更具体地说，是涉及一种基于人体跟踪的多人脸识别方法。

背景技术

通过生物特征进行对人脸进行识别的过程被称为人脸识别，它是属于计算机视觉领域的一个研究问题。相对于虹膜、指纹等的其他生物特征识别，人脸识别技术有着信息利于采集及验证等的优势。随着技术的成熟，人脸识别已经广泛应用在各个领域中。

人脸识别技术是生物特征识别系统的一个重要研究课题，就是用摄像机或者摄像头来采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部辨识的一系列相关技术。与指纹、虹膜等技术相比，人脸识别是最直接、且方便的技术手段。人脸识别主要分为3个步骤，1)人脸检测：即从图像信息中检测出人脸并返回位置范围。2)人脸规范化：校正因为在光照强度、图像像素等问题下人脸所发生的变化。3)人脸特征的提取：将识别到的人脸中的特征提取出来。4)人脸识别：将提取的到的特征与数据库中已有的特征进行匹配，进行人脸识别。

多目标跟踪，即Multiple Object Tracking(MOT)，主要任务中是给定一个图像序列，找到图像序列中运动的物体，并将不同帧的运动物体进行识别，也就是给定一个确定准确的id，当然这些物体可以是任意的，如行人、车辆、各种动物等等，而最多的研究是行人跟踪，由于人是一个非刚体的目标，且实际应用中行人检测跟踪更具有商业价值。

SORT全称为Simple Online And Realtime Tracking，对于现在的多目标跟踪，更多依赖的是其检测性能的好坏，也就是说通过改变检测器可以提高18.9％，SORT算法尽管只是把普通的算法如卡尔曼滤波(Kalman Filter) 和匈牙利算法(Hungarian algorithm)结合到一起，却可以匹配2016年的SOTA 算法，且速度可以达到260Hz，比前者快了20倍。

DeepSORT是SORT的升级版，其在正确率上相比SORT的提升并不是很明显，其主要的突破在于，将IDswitch的频率降低了45％，而这以突破则是由外观模型的引入引起的。DeepSORT利用预先设计的CNN网络，提取出一个描述bbox内物体外观的128维的向量，并将这一向量融入损失矩阵的构造，从而使得匈牙利算法的匹配结果更加可靠。

YOLOv3是由Joseph Redmon和Ali Farhadi提出的单阶段检测器，该检测器与达到同样精度的传统目标检测方法相比，推断速度能达到接近两倍。这个版本的更新有很多改动尤其是网络方面的，网络变得更大也更准确。320 *320的图片作为YOLOv3的输入，每张图片的平均运行时间是22ms，有 28.2mAP，和SSD相同的准确率但比SSD快3倍。在某些评价标准中表现比 RetinaNet要好。

人脸检测和人脸识别技术算是目前人工智能方面应用最成熟的技术了。本方法利用MTCNN和faceNet搭建一个实现人脸检测和人脸识别的系统。基本思路也很简单，先利用MTCNN的进行人脸检测，当然也可以使用其他的人脸检测方法，如Dilb，OpenCV，OpenFace人脸检测等等，然后再利用faceNet 进行人脸识别，faceNet可简单看成是提取人脸特征的CNN网络，这个特征就是embadding了，有了人脸特征embadding，最后一步，就只需要与数据库人脸特征进行相似性比较，即可完成人脸识别的任务。