[发明专利]基于特征融合神经网络的多模态人脸识别方法

说明书

一种基于特征融合神经网络的多模态人脸识别方法，通过融合特征卷积神经网络，以预处理后正常光源下的可见光图像和红外光图像作为训练集进行训练，并在训练后对各种光源情况下的可见光图像和红外光图像进行识别。本发明采用特征融合卷积网络，融合可见光人脸和近红外人脸的特征，在应对不同光照强度下，获得更加高的人脸识别结果，在应对无光、弱光，正常光源下，特征融合网络具有高鲁棒性和高准确率。

技术领域

本发明涉及的是一种人工智能识别领域的技术，具体是一种基于特征融合神经网络的多模态人脸识别方法。

背景技术

现有的人脸识别方法一般采用HOG、LBP、LGBP等算法或神经网络来提取特征进行人脸识别。但这些方法很适合运用于正常光源下的人脸情况。一旦人脸在非正常光强下，人脸识别的准确率就会不理想。

现有的改进技术中有通过先计算拍摄到的人脸图像受光照影响的程度，并根据影响程度调整人脸图像的明暗值，后再通过神经网络进行处理，或通过红外线方式提取人脸图像进行后续特征提取。但这些技术在特征提取前都无法避免地会产生图像中的信息的损失。因而影响后续特征提取以及识别率。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于特征融合神经网络的多模态人脸识别方法，采用特征融合卷积网络，融合可见光人脸和近红外人脸的特征，在应对不同光照强度下，获得更加高的人脸识别结果，在应对无光、弱光，正常光源下，特征融合网络具有高鲁棒性和高准确率。

本发明是通过以下技术方案实现的：

本发明涉及一种基于特征融合神经网络的多模态人脸识别方法，通过融合特征卷积神经网络，以预处理后正常光源下的可见光图像和红外光图像作为训练集进行训练，并在训练后对各种光源情况下的可见光图像和红外光图像进行识别。

所述的预处理是指：按照相同帧率同步截取可见光和近红外的人脸图像，对各光谱图像进行人脸检测、人脸定位和剪裁，分别生成可见光与近红外光下同步的人脸图像，分别记为V(可见光人脸)和N(近红外人脸)。

所述的各种光源包括：正常光源、弱光和无光情况。

所述的融合特征卷积神经网络，包括可见光分支网络层、近红外分支网络层、融合层和预测层。

所述的可见光分支网络层和近红外分支网络层均为卷积神经网络且各包括五个卷积块和一个全连接层，其中：第一卷积块和第二卷积块均包括两个用于特征提取的卷积层和一个用于降维的最大池化层，第三至第五卷积块均包括三个用于特征提取的卷积层和一个用于降维的最大池化层，每一层运算操作后的特征图都经过Relu函数作为非线性激活函数。

可见光与近红外图像分别经过各自的卷积层进行卷积操作提取特征值，之后经过各自网络的全连接层。

所述的融合层通过融合操作将可见光分支网络层最后的全连接层的特征向量与近红外分支网络层最后的全连接层的特征向量串联起来，得到的特征向量包含了可见光的特征和近红外的特征。

在应对不同光强下，可见光图像可获得更多的人脸细节特征，但会严重受到光强的影响，但是近红外却对光强的影响不敏感，所以在恶劣光源下可以获得人脸的特征。在融合过程中，分别将卷积层学习到的可见光与近红外特征进行串联互补，在应对光强影响下，特征信息会比单光谱的更加丰富。并将串联起来的特征向量，送入之后预测层进行人脸预测。

所述的预测层所采用的人脸的标签为one-hot标签，以softmax进行人脸概率预测，通过softmax输出每个注册人脸的概率，取概率最大的人脸作为最后的人脸识别结果；训练损失函数选用交叉熵(Categorical Crossentropy)。