[发明专利]一种基于深度学习的视频人物检索方法及检索系统

权利要求书

1.一种基于深度学习的视频人物检索方法，其特征在于，包括如下步骤：

a)将数字视频文件按其帧率进行解码；

b)将解码出的数字视频的帧进行预处理；

c)将预处理后的帧输入已预先训练好的深度神经网络，如果灰度图中存在人脸，则深度神经网络输出帧内所有人脸的位置并截取人脸，如果帧内不存在人脸，则返回步骤a)；

d)将截取的人脸图像进行预处理操作；

e)将预处理后的人脸图像输入Facenet网络，Facenet网络将人脸图片转化为N维的特征向量V_unkonwn；

f)将需要识别的i个特定人物的人脸图片输入Facenet网络，Facenet网络提取特定人物的人脸图片的特征值V_target,i，根据公式计算特定人物的特征质心cen_i，ρ_i为第i个特定人物的人脸图片的置信因子，0＜ρ_i≤1；

g)通过公式计算特性向量V_unkonwn与人物的特征质心的距离l_cen，如果l_cen小于特征球半径r则判定该人物为特定人物，如果l_cen大于等于特征球半径r则判定该人物不为特定人物；

g)服务商在服务器中寻找到包含该特定人物帧的所有视频，当用户需要观看该特定人物的视频时，服务商为用户跳转到包含该特定人物帧的视频。

2.根据权利要求1所述的基于深度学习的视频人物检索方法，其特征在于：步骤a)中设置帧步长为s，s为大于等于1的正整数，将数字视频文件中解码出的每s个帧中选取一个帧送入步骤b)处理。

3.根据权利要求1所述的基于深度学习的视频人物检索方法，其特征在于：步骤b)中将解码出的数字视频的帧按长宽等比的方式缩小至固定尺寸，缩小后将其转换为灰度图。

4.根据权利要求1所述的基于深度学习的视频人物检索方法，其特征在于，步骤d)中预处理操作包括以下步骤：

d-1)如果截取的人脸图像为正方形，则将截取的人脸图像缩放至M×M像素的正方形图像；

d-2)如果截取的人脸图像不为正方形，则使用黑边将图像补为正方形图像后再缩放至M×M像素的正方形图像。

5.根据权利要求1所述的基于深度学习的视频人物检索方法，其特征在于：步骤e)中N为128。

6.根据权利要求4所述的基于深度学习的视频人物检索方法，其特征在于：步骤d)中M为160。

7.一种实施权利要求1所述的基于深度学习的视频人物检索方法的检索系统，其特征在于，包括：视频解码单元、人脸检测单元以及人脸特征提取单元；

所述视频解码单元包括视频解码单元和预处理单元，视频解码单元将数字视频文件按其帧率进行解码，预处理单元将解码出的数字视频的帧进行预处理；

人脸检测单元包括深度神经网络及预处理单元，深度神经网络输出帧内所有人脸的位置坐标并截取人脸后通过预处理单元预处理；

人脸特征提取单元由Facenet网络构成。