[发明专利]基于AR设备的身份核验方法、装置、设备及存储介质

权利要求书

1.一种基于AR设备的身份核验方法，其特征在于，应用于网络系统架构中的AR设备，所述AR设备为安保工作人员在身份核验时佩戴的设备，所述网络系统架构还包括服务器和信息传输模块，所述方法包括：

接收预设图像采集设备采集的现场实时视频；所述图像采集设备为所述AR设备的摄像头，所述摄像头室外场景下的分辨率大于室内场景下的分辨率；所述摄像头的测光方式设置为中心点测光，快门参数设置在1/200秒以内；

通过人脸检测算法对所述现场实时视频进行人脸检测，并对检测出的人脸进行跟踪以获取待核验人脸图像；所述人脸检测算法为预训练的多任务卷积神经网络，所述多任务卷积神经网络的输入为目标图像帧，所述目标图像帧为目标对象首次在所述现场实时视频中出现的图像帧；所述对检测出的人脸进行跟踪通过金字塔光流算法实现，所述金字塔光流算法的跟踪点包括人脸质心；

通过所述信息传输模块向服务器发送所述待核验人脸图像，使得所述服务器将所述待核验人脸图像与人脸数据库中存储的标准人脸图像进行匹配得到核验结果；所述信息传输模块是基于5G网络将所述待核验人脸图像发送给服务器的；

接收所述服务器返回的所述核验结果，并将所述核验结果显示在信息展示窗口，以将所述核验结果与现实画面叠加显示；

所述通过人脸检测算法对所述现场实时视频进行人脸检测，包括：

将所述现场实时视频的目标图像帧输入所述多任务卷积神经网络的第一子网络进行人脸识别，得到第一候选框；

利用所述多任务卷积神经网络的第二子网络对所述第一候选框进行过滤，得到第二候选框；

利用所述多任务卷积神经网络的第二子网络再次对所述第二候选框进行过滤及人脸关键点定位，得到所述目标图像帧中人脸的人脸检测框；

所述对检测出的人脸进行跟踪以获取待核验人脸图像，包括：

以所述人脸检测框的中心为人脸质心，采用金字塔光流算法计算出所述人脸质心在所述目标图像帧的下一帧中的对应点；

采用匈牙利算法将所述人脸质心与所述对应点进行匹配以对检测出的人脸进行跟踪；

在对检测出的人脸进行跟踪的过程中截取多张人脸图像，对所述多张人脸图像进行清晰度、尺寸检测，从所述多张人脸图像中确定出所述待核验人脸图像。

2.一种基于AR设备的身份核验方法，其特征在于，应用于网络系统架构中的服务器，所述网络系统架构还包括AR设备和信息传输模块，所述AR设备为安保工作人员在身份核验时佩戴的设备，所述方法包括：

接收所述AR设备发送的待核验人脸图像；所述待核验人脸图像为所述AR设备通过人脸检测算法对预设图像采集设备采集的现场实时视频进行人脸检测并对检测出的人脸进行跟踪以及对跟踪过程中截取出的多张人脸图像进行清晰度、尺寸检测得到的，所述人脸检测算法为预训练的多任务卷积神经网络，所述多任务卷积神经网络的输入为目标图像帧，所述目标图像帧为目标对象首次在所述现场实时视频中出现的图像帧；所述对检测出的人脸进行跟踪通过金字塔光流算法实现，所述金字塔光流算法的跟踪点包括人脸质心；所述图像采集设备为所述AR设备的摄像头，所述摄像头室外场景下的分辨率大于室内场景下的分辨率；所述摄像头的测光方式设置为中心点测光，快门参数设置在1/200秒以内；

将所述待核验人脸图像与人脸数据库中存储的标准人脸图像进行匹配得到核验结果；

通过所述信息传输模块将所述核验结果返回至所述AR设备，使得所述AR设备在信息展示窗口显示所述核验结果，以将所述核验结果与现实画面叠加显示；所述信息传输模块是基于5G网络将所述核验结果返回至所述AR设备的；

在所述将所述待核验人脸图像与人脸数据库中存储的标准人脸图像进行匹配得到核验结果之前，所述方法还包括：

采用高斯滤波器消除所述待核验人脸图像上的噪点；

对去噪后的所述待核验人脸图像进行增强处理提高所述待核验人脸图像的清晰度；

利用预训练的多任务卷积神经网络对清晰度增强的所述待核验人脸图像中的人脸进行矫正；

所述将所述待核验人脸图像与人脸数据库中存储的标准人脸图像进行匹配得到核验结果，包括：

提取经过人脸矫正的所述待核验人脸图像的第一特征向量；

从所述人脸数据库中获取存储的标准人脸图像的第二特征向量，并计算所述第一特征向量与所述第二特征向量之间的余弦相似度；

根据所述余弦相似度从大到小的顺序将前N个标准人脸图像对应的用户的身份信息作为所述核验结果。