[发明专利]基于梯度自适应机制的人脸识别方法、设备及介质

说明书

本发明提供了一种基于梯度自适应机制的人脸识别方法，包括：构建网络模型；采集RGB人脸图像和非RGB人脸图像；提取RGB人脸图像和非RGB人脸图像的特征信息；将特征进行特征融合再依次经过全局平均池化、分类层和分类损失函数进行训练；将特征分别单独经过全局平均池化处理后，再分别单独进入梯度反转层约束整个网络模型；将经过梯度反转层处理后的特征进行融合，再送入模态判别器，然后由判别器损失函数进行训练；训练完成的网络模型，在人脸检索过程只利用融合特征与人脸库中的特征进行对比，从而识别出这个人脸的身份。本发明还提供一种电子设备和一种计算机可读存储介质，可以最小化不同模态的图像之间的差异。

技术领域

本发明涉及人脸活体检测技术，尤其是涉及一种基于梯度自适应机制的人脸识别方法。

背景技术

随着深度学习技术的发展，人脸识别算法已经得到了迅速的发展，人脸识别系统得以应用在智能安防监控中，大规模部署到机场、动车站中，成为智能安防监控的主要一环。然而，常规的人脸识别通常以RGB图像作为输入，其他模态数据作为输入性能常受到严重的影响。随着活体检测和人脸伪造技术的发展，导致人脸识别系统遭到破坏，稳定性大打折扣。为了增加人脸识别系统的鲁棒性，现有的人脸识别系统会引入不同模态的图像信息，从不同模态中匹配人脸，防止各种伪造数据的攻击。然而，不同模态间的数据存在明显的差异，会导致人脸识别系统会存在明显的性能下降，所以需要从不同模态中提取鲁棒的特征来应对不同模态数据的人脸识别。

目前人脸识别算法主要是利用卷积神经网络(ResNet50或者DenseNet121)作为主干网络来提取图像高维空间中的特征，并结合交叉熵损失函数或者三元组损失函数的约束监督，从而训练出一个鲁棒的人脸识别算法。现有的人脸识别算法在训练中将任务当成多分类问题，依靠海量的数据集结合深度学习技术完成显著的检索性能。然而，现有的人脸识别算法主要是在RGB图像获得较好的性能，当图像存在跨模态差异，由于模

态间的显著差异导致人脸识别系统会存在明显的性能下降。这是因为相比RGB图像，卷积神经网络更偏重能中RGB图像提取出鲁棒的特征，不同模态的图像较难提取有用的特征。

发明内容

为解决上述问题，本发明提供一种基于梯度自适应机制的人脸识别方法，可以最小化不同模态的图像之间的差异，并结合梯度逆转机制(梯度反转层)来优化整个框架(网络模型)，使得不同模态特征之间具有较好的表征力。

本发明是通过以下技术方案予以实现：

本发明提供了一种基于梯度自适应机制的人脸识别方法，包括如下步骤：

步骤1、构建网络模型，所述网络模型采用双流结构，即上下两个主干网络；两个所述主干网络采用卷积神经网络；

步骤2、采集RGB人脸图像和非RGB人脸图像分别作为两个所述主干网络的输入；

步骤3、通过所述卷积神经网络分别提取RGB人脸图像和非RGB人脸图像的特征信息，得到特征f₁和特征f₂；

步骤4、将特征f₁和特征f₂进行特征融合，得到特征f₁₂，再将特征f₁₂依次经过全局平均池化、分类层和分类损失函数进行训练，优化网络模型；

步骤5、将特征f₁和特征f₂分别单独经过全局平均池化处理后，再分别单独进入梯度反转层约束整个网络模型；

步骤6、将经过梯度反转层处理后的特征f₁和特征f₂进行融合，再送入模态判别器来分类两个模态，然后由判别器损失函数进行训练，优化网络模型；

步骤7、训练完成的网络模型，在人脸检索过程只利用特征f₁₂作为一个人脸的特征表示，与人脸库中的特征进行对比，从而识别出这个人脸的身份。