[发明专利]基于深度卷积神经网络的异质人脸识别方法

权利要求书

1.一种基于深度卷积神经网络的异质人脸识别方法，其特征在于，包括以下步骤：

步骤S1，对预训练图像中的人脸图像及相关的可见光图像-近红外图像进行相同的图像预处理，得到预设大小的灰度图像；

步骤S2，用预处理好的可见光图像对预设深度卷积神经网预训练，得到人脸的高层次特征表达，得到预训练的异质人脸识别卷积神经网络模型；

步骤S3，按预设方法分别以训练图像中的近红外图像、可见光图像作为锚点，构建由锚点、正样本和负样本组成的跨域近红外-可见光三元组，并利用所述预训练的异质人脸识别卷积神经网络模型从训练图像中选取跨域难三元组；

步骤S4，将选取的跨域难三元组输入所述预训练的异质人脸识别卷积神经网络模型进行训练，得到跨近红外域和可见光域的统一深层特征表达；

步骤S5,按步骤S3-S4的方法，利用上一轮训练好的异质人脸识别卷积神经网络模型，进行下一轮难三元组选择和训练，计算异质识别的正确率及真阳性率，多次迭代直到所述异质识别的正确率及真阳性率的评价标准达到最高值，获得最终的异质人脸识别卷积神经网络模型；

步骤S6,将近红外图像或可见光图像输入该最终的异质人脸识别卷积神经网络模型，通过比较近红外图像或可见光图像与人脸识别系统注册时图像库中的可见光人脸图像或近红外图像高层特征的相似度得分，实现对人脸图像识别。

2.根据权利要求1所述的基于深度卷积神经网络的异质人脸识别方法，其特征在于，步骤S1中，所述图像预处理的步骤如下：

运用人脸检测器，通过定位图像关键点的坐标进行对齐操作获得对齐的图像块，然后对对齐的图像块进行裁剪和缩放，并处理成预设大小的灰度图像。

3.根据权利要求1或2所述的基于深度卷积神经网络的异质人脸识别方法，其特征在于，步骤S3中，所述跨域近红外-可见光三元组的损失用下式来表达：

其中，N为三元组的总数，x_i^a为锚点，x_i^p为正样本，x_iⁿ为负样本。

4.根据权利要求3所述的基于深度卷积神经网络的异质人脸识别方法，其特征在于，步骤S3中，所述的利用所述预训练的异质人脸识别卷积神经网络模型从训练图像中选取跨域难三元组的步骤是：

将所有训练图像输入所述预训练的异质人脸识别卷积神经网络模型中训练，得到高层次的特征表达，计算近红外图像和可见光图像的相似度得分，将该相似度得分与实际相似度得分不匹配的图像选出来组成难三元组。

5.根据权利要求4所述的基于深度卷积神经网络的异质人脸识别方法，其特征在于，步骤S3中，所述跨域难三元组通过以下方法选取：

以训练图像中的可见光图像为锚点，遍历所有近红外图像，并对可见光图像与近红外图像两者的相似度得分排序，以相似度得分较高且与锚点来自不同ID的近红外图像作为难负样本，相似度得分较低且与锚点来自同一ID的近红外图像作为难正样本，然后以该锚点与一个难正样本、一个难负样本组成一类难三元组；

以训练图像中的近红外图像为锚点，遍历所有可见光图像，并对可见光图像与近红外图像两者的相似度得分排序，以相似度得分较高且与锚点来自不同ID的可见光图像作为难负样本，相似度得分较低且与锚点来自同一ID的可见光图像作为难正样本，然后以该锚点与一个难正样本、一个难负样本组成另一类难三元组。

6.根据权利要求1或5所述的基于深度卷积神经网络的异质人脸识别方法，其特征在于，步骤S4中，将选取的跨域难三元组输入所述异质人脸识别深度卷积神经网络模型训练后，是通过使该异质人脸识别深度卷积神经网络模型通过误差梯度反传进行参数精调，使该异质人脸识别深度卷积神经网络模型在学到人脸表达的本质特征的同时，又学到不依赖于近红外或可见光域的非本质特征，从而得到跨近红外域和可见光域的统一深层特征表达。

7.根据权利要求1所述的基于深度卷积神经网络的异质人脸识别方法，其特征在于，步骤S4中，所述异质人脸识别深度卷积网络模型为三通道的深度卷积网络模型，该异质人脸识别深度卷积网络模型的三个通道在每一层共享权重。