[发明专利]基于梯度自适应机制的人脸识别方法、设备及介质

权利要求书

1.一种基于梯度自适应机制的人脸识别方法，其特征在于，包括如下步骤：

步骤1、构建网络模型，所述网络模型采用双流结构，即上下两个主干网络；两个所述主干网络采用卷积神经网络；

步骤2、采集RGB人脸图像和非RGB人脸图像分别作为两个所述主干网络的输入；

步骤3、通过所述卷积神经网络分别提取RGB人脸图像和非RGB人脸图像的特征信息，得到特征f₁和特征f₂；

步骤4、将特征f₁和特征f₂进行特征融合，得到特征f₁₂，再将特征f₁₂依次经过全局平均池化、分类层和分类损失函数进行训练，优化网络模型；

步骤5、将特征f₁和特征f₂分别单独经过全局平均池化处理后，再分别单独进入梯度反转层约束整个网络模型；

步骤6、将经过梯度反转层处理后的特征f₁和特征f₂进行融合，再送入模态判别器来分类两个模态，然后由判别器损失函数进行训练，优化网络模型；

步骤7、训练完成的网络模型，在人脸检索过程只利用特征f₁₂作为一个人脸的特征表示，与人脸库中的特征进行对比，从而识别出这个人脸的身份。

2.根据权利要求1所述的一种基于梯度自适应机制的人脸识别方法，其特征在于，所述卷积神经网络采用ResNet50、DenseNet121或EfficientNet。

3.根据权利要求1所述的一种基于梯度自适应机制的人脸识别方法，其特征在于，所述步骤3中通过所述卷积神经网络分别提取RGB人脸图像和非RGB人脸图像的特征信息，具体是：

通过卷积神经网络对RGB人脸图像和非RGB人脸图像进行卷积、池化和激活函数处理后提取出对应的特征信息。

4.根据权利要求1所述的一种基于梯度自适应机制的人脸识别方法，其特征在于，所述步骤4具体包括：

通过通道级联的方式将特征f₁和特征f₂进行特征融合，得到特征f₁₂，再将特征f₁₂通过全局平均池化处理后得到每个图像的特征值；然后将每个图像的特征值送入分类层处理后得到对每个图像的分类预测值；再利用分类标签结合分类损失函数进行优化训练，分类损失函数计算出分类预测值和图像的标签差异，并逐渐缩小差异，进而优化网络模型。

5.根据权利要求1所述的一种基于梯度自适应机制的人脸识别方法，其特征在于，所述模态判别器由4个线性分类层组成。

6.根据权利要求1所述的一种基于梯度自适应机制的人脸识别方法，其特征在于，所述步骤6中由判别器损失函数进行训练，所述判别器损失函数L如下所示：

其中，L表示判别器损失函数，n表示样本总数量，p表示代表概率分布，M_m代表模态，m＝1时为RGB模态，m＝0时为非RGB模态，D表示判别器参数，E表示数学期望，x表示样本，表示主干网络提取特征的参数，θ_D表示模态判别器的参数。

7.根据权利要求1所述的一种基于梯度自适应机制的人脸识别方法，其特征在于，所述模态判别器是为了缩小不同模态之间的差异，而前面的特征提取过程却会混淆该模态判别器，因此它们之间存在对抗博弈的过程，因此采用梯度反转层反转梯度约束整个网络模型，反转梯度约束表达式为其中，L表示判别器损失函数，表示主干网络提取特征的参数；其中，λ表达式如下：其中β随着训练过程按间隔0.1随着迭代次数每增加20次依次逐渐增大，范围为0到1。

8.根据权利要求1所述的一种基于梯度自适应机制的人脸识别方法，其特征在于，所述分类损失函数采用交叉熵损失函数，所述判别器损失函数采用交叉熵损失函数。