[发明专利]基于多模态无感身份认证的毫米波安检方法及装置

权利要求书

1.一种基于多模态无感身份认证的毫米波安检方法，其特征在于，包括以下步骤：

S1，在毫米波安检过程中同时获取人员的毫米波图像和至少两种无感身份认证模态图像，并分别计算出所述毫米波图像和至少两种无感身份认证模态图像所对应的多个单模态质量分数，根据所述毫米波图像和至少两种无感身份认证模态图像分别提取多个单模态特征，多个所述单模态特征包括体态特征和至少两种无感身份认证模态特征；

S2，将多个所述单模态特征输入经训练的特征融合模型进行特征融合，得到多模态融合特征，根据多个所述单模态质量分数计算得到多模态质量分数，基于所述毫米波图像得到安检结果；

S3，通过多个所述单模态特征进行身份认证，若身份认证成功，则得到该人员的身份信息，若身份认证失败，则通过所述多模态融合特征进行身份认证，若身份认证成功，则得到该人员的身份信息；

S4，将该人员的所述安检结果与所述身份信息建立对应关系并存储在数据库中，同时将多个所述单模态质量分数、多模态质量分数、单模态特征和多模态融合特征记录在所述对应关系中，或者根据多个所述单模态质量分数和多模态质量分数分别在所述对应关系中更新多个所述单模态特征和多模态融合特征。

2.根据权利要求1所述的基于多模态无感身份认证的毫米波安检方法，其特征在于，所述至少两种无感身份认证模态图像包括人脸图像和虹膜图像，所述至少两种无感身份认证模态特征包括人脸特征和虹膜特征，所述体态特征、人脸特征和虹膜特征通过对应的经训练的深度学习模型分别提取所述体态特征、人脸特征和虹膜特征，多个所述单模态质量分数为体态图像质量分数、人脸图像质量分数和虹膜图像质量分数。

3.根据权利要求2所述的基于多模态无感身份认证的毫米波安检方法，其特征在于，所述步骤S1中分别计算出所述毫米波图像和至少两种无感身份认证模态图像所对应的多个单模态质量分数，具体包括：

通过毫米波图像体态完整度和清晰度综合计算体态图像质量分数；

通过人脸图像的人脸角度、亮度和清晰度综合计算人脸图像质量分数；

通过虹膜图像的虹膜完整度、视线方向、亮度和清晰度综合计算虹膜图像质量分数。

4.根据权利要求1所述的基于多模态无感身份认证的毫米波安检方法，其特征在于，所述特征融合模型包括concat层、dropout层和全连接层，所述步骤S2具体包括：

将多个维度为D*1*1的所述单模态特征输入所述concat层进行特征拼接，得到维度为3D*1*1的拼接特征，将所述拼接特征输入所述dropout层随机冻结部分特征，得到识别特征，将所述识别特征输入所述全连接层降维融合得到维度为D*1*1的多模态融合特征；

将多个所述单模态质量分数进行加权计算处理，得到所述多模态质量分数。

5.根据权利要求1所述的基于多模态无感身份认证的毫米波安检方法，其特征在于，所述步骤S3具体包括：

S31，将多个所述单模态特征分别与相应的单模态特征数据库中的单模态标准特征进行特征比对，得到多个第一特征比对分数，若至少一个所述第一特征比对分数大于或等于第一阈值，则身份认证成功，确定该人员的身份信息；

S32，若所述多个第一特征比对分数均小于所述第一阈值，则将所述多模态融合特征与多模态融合特征数据库中的多模态融合标准特征进行特征比对，得到第二特征比对分数，若所述第二特征比对分数大于第二阈值，则身份认证成功，确定该人员的身份信息，若所述第二特征比对分数小于第二阈值，则身份认证失败。

6.根据权利要求5所述的基于多模态无感身份认证的毫米波安检方法，其特征在于，所述第二阈值小于所述第一阈值。