[发明专利]基于多模态无感身份认证的毫米波安检方法及装置

说明书

本发明公开了一种基于多模态无感身份认证的毫米波安检方法及装置，在毫米波安检过程中同时获取人员的毫米波图像和至少两种无感身份认证模态图像，并分别计算出多个单模态质量分数，根据毫米波图像和至少两种无感身份认证模态图像分别提取多个单模态特征，输入经训练的特征融合模型进行特征融合，得到多模态融合特征，根据多个单模态质量分数计算得到多模态质量分数，基于毫米波图像得到安检结果；通过多个单模态特征或多模态融合特征进行身份认证，将该人员的安检结果与身份信息建立对应关系并存储或更新在数据库中。该方法不仅能将安检结果与身份认证结果绑定管理，还能保证具有较高的身份认证准确率。

技术领域

本发明涉及安检领域，具体涉及一种基于多模态无感身份认证的毫米波安检方法及装置。

背景技术

随着人脸识别技术的迅猛发展，越来越多的场所逐步使用了人脸识别认证系统核实乘客的身份信息，如火车站、轮渡和机场等。随着卫生要求的提高，各大场所的安检更加注重使用人脸识别无接触的身份认证方式。无接触和无感身份认证的安检系统将会被越来越广泛的应用。

目前机场常规的安检流程是旅客要进入航站楼安检区，先进行人脸识别身份验证，然后旅客再经过工作人员的人工手检或毫米波安检仪相关设备的自动检测，以最终确定旅客是否携带危险的违禁物品。使用毫米波自动检测危险物品是一种非常便捷安全的方式，可以大量减少工作人员与旅客之间的接触。但人脸认证结合毫米波安检的产品目前还存在不完善的地方，人脸认证设备和毫米波安检仪是分开独立的系统，旅客先经过人脸认证系统后再排队过毫米波安检仪，这种做法毫米波检测结果与人脸认证结果是无法关联绑定的，从而很难达到身份认证和安检数据的绑定储存与溯源。如申请号为CN201810765062.X的专利公开了一种毫米波和摄像头融合的人脸识别的方法，该方法用毫米波人脸图像提高人脸识别精度；如申请号CN201911116583.3的专利公开了一种基于毫米波图像的人脸识别方法。以上两种方法都引入毫米波人脸图像进行身份认证，但毫米波图像人脸成像粗糙，分辨率差，轮廓形状特征区分性差；而且毫米波人脸训练数据也极难获取，没有海量的数据训练学习，最终身份认证的准确率很难保证。如申请号CN201811653641.1的专利公开了在毫米波安检通道上安装光学镜头仅通过人脸识别进行旅客身份认证，并且将毫米波图像与光学图像进行匹配实现了毫米波检测结果与旅客身份认证绑定，但仅通过人脸识别在旅客化妆、戴口罩、戴墨镜、戴帽子或者人脸角度过大时身份认证的准确率不高，并且该申请专利并未对安检数据进行数据库管理。

有鉴于此，提出一种无感身份认证的毫米波安检方法是至关重要的。

发明内容

针对上述背景技术提到的技术问题。本申请的实施例的目的在于提出了一种基于多模态无感身份认证的毫米波安检方法及装置，来解决以上背景技术部分提到的技术问题。

第一方面，本申请的实施例提供了一种基于多模态无感身份认证的毫米波安检方法，包括以下步骤：

S1，在毫米波安检过程中同时获取人员的毫米波图像和至少两种无感身份认证模态图像，并分别计算出毫米波图像和至少两种无感身份认证模态图像所对应的多个单模态质量分数，根据毫米波图像和至少两种无感身份认证模态图像分别提取多个单模态特征，多个单模态特征包括体态特征和至少两种无感身份认证模态特征；

S2，将多个单模态特征输入经训练的特征融合模型进行特征融合，得到多模态融合特征，根据多个单模态质量分数计算得到多模态质量分数，基于毫米波图像得到安检结果；

S3，通过多个单模态特征进行身份认证，若身份认证成功，则得到该人员的身份信息，若身份认证失败，则通过多模态融合特征进行身份认证，若身份认证成功，则得到该人员的身份信息；

S4，将该人员的安检结果与身份信息建立对应关系并存储在数据库中，同时将多个单模态质量分数、多模态质量分数、单模态特征和多模态融合特征记录在对应关系中，或者根据多个单模态质量分数和多模态质量分数分别在对应关系中更新多个单模态特征和多模态融合特征。