[发明专利]基于视觉跟踪技术的实时视频人脸识别方法及系统

权利要求书

1.一种基于视觉跟踪技术的实时视频人脸识别方法，其特征在于：

将视频流的每n帧划为一个图像组，每个图像组第1帧为关键帧，第2帧至第n帧为非关键帧，对每个图像组关键帧采用人脸检测算法检测视频帧中所有人脸的位置及每个人脸的面部关键点位置，对齐每个人脸的面部关键点位置；提取每个人脸的面部关键点位置对应的人脸特征值，与待识别人脸的人脸特征值相似度最高的视频帧中的人脸为人脸识别结果；

分别在每个图像组非关键帧中对其第1帧中的人脸识别结果通过视觉跟踪算法进行跟踪，保存每个图像组第n帧的人脸跟踪结果及该人脸跟踪结果对应的人脸ID；

按照图像组在视频流中的播放顺序从第一个图像组开始，比较前一个图像组的第n帧的人脸跟踪结果和后一个图像组的第1帧的人脸识别结果，若空间位置匹配一致且人脸ID匹配一致，则将该人脸作为后一个图像组的人脸识别结果；若空间位置匹配不一致或人脸ID匹配不一致，以与待识别人脸的人脸特征值相似度更高的人脸作为后一个图像组的人脸识别结果。

2.如权利要求1所述的基于视觉跟踪技术的实时视频人脸识别方法，其特征在于：所述人脸检测算法为MTCNN算法。

3.如权利要求1所述的基于视觉跟踪技术的实时视频人脸识别方法，其特征在于：提取每个人脸的面部关键点位置对应的人脸特征值，与待识别人脸的人脸特征值相似度最高的视频帧中的人脸为人脸识别结果包括以下步骤：

S1，使用人脸特征提取每个人脸的面部关键点位置的每个人脸的人脸特征实际值；

S2，将S1得到的每个人脸的人脸特征实际值转化为哈希特征值；

S3，将步骤1和2得到每个人脸的人脸特征实际值和哈希特征值一一对应的存储在人脸数据库中；

S4，获取待识别人脸的人脸特征实际值和哈希特征值，使用待识别人脸的哈希特征值在人脸数据库中检索，筛选出多个候选的哈希特征值；

S5，以S4中得到的候选的哈希特征值作为索引，在人脸数据库中查询候选的哈希特征值对应的人脸特征实际值，以查询出的人脸特征实际值作为候选的人脸特征实际值；

S6，计算待识别人脸的人脸特征实际值与S5得到的候选的人脸特征实际值的相似度，将相似度超过设定的相似度阈值的候选的人脸特征实际值对应的人脸作为候选的人脸识别结果；

S7，使用投票算法计算候选的人脸识别结果的投票分数，得分最高者为最终的人脸识别结果。

4.如权利要求3所述的基于视觉跟踪技术的实时视频人脸识别方法，其特征在于：步骤S1包括：

将原始人脸图片及其镜像人脸图片分别送入人脸特征提取网络中提取出两个维数相同的特征向量；然后使用特征融合策略将得到的两个特征向量融合为一个新的特征向量作为人脸特征实际值。

5.如权利要求4所述的基于视觉跟踪技术的实时视频人脸识别方法，其特征在于：所述特征融合策略为选取两个特征向量每一维的最大值形成一个新的特征向量，对应的公式为：

f_i＝max(x_i,y_i)i＝1,2,…,n，其中，f_i表示所述新的特征向量的第i维，x_i表示待融合的其中一个特征向量的第i维，y_i表示待融合的另一个特征向量的第i维，n表示特征向量的维数。

6.如权利要求4所述的基于视觉跟踪技术的实时视频人脸识别方法，其特征在于：步骤S1还包括使用PCA降维方法对融合后的新的特征向量降维。

7.如权利要求3所述的基于视觉跟踪技术的实时视频人脸识别方法，其特征在于：步骤S2中将人脸特征实际值转化为哈希特征值的计算公式为：h(x)＝0.5×(sign(x)+1)；

其中，x为步骤S1得到的人脸特征实际值，h(x)为人脸特征实际值x对应的哈希特征值，其中，sign(x)为符号函数。