[发明专利]一种基于卷积神经网络的人脸图像光照迁移方法

权利要求书

1.一种基于卷积神经网络的人脸图像光照迁移方法，其特征在于，包括如下步骤：

步骤1、数据集的准备及建立；

步骤2、预训练模型的准备；

步骤3、得到光照分类模型；

步骤4、基于光照分类模型的光照匹配；

步骤5、基于光照分类模型的光照迁移；

步骤(4)基于光照分类模型的光照匹配具体包括如下步骤：

(4.1)开始；

(4.2)将人脸光照图像输入到光照分类模型：训练光照分类模型首先按照分类任务去掉原网络的最后一层全连接层，添加新的用于训练的softmax层、top1-error层和top5-error层，根据数据集的类别数添加新的全连接层，Yale Face数据集为64类，PIE数据集为21类；然后微调fine tune整个网络，微调网络前几层的权重，学习率设置为1*10^-4，迭代300轮，完成人脸图像光照分类任务；

(4.3)取出模型最后一层全连接层的输出值：采用的VGG神经网络由卷积层、全连接层、池化层、softmax层构成，卷积层运算的输出图像特征信息，在光照分类模型的基础上，使用Yale Face数据集训练出的模型，寻找光照信息与模型最后一层全连接层的输出之间的关联，完成对人脸光照图像的光照匹配；

(4.4)得出最大值及所在维度的序号：图像经过网络全连接层的输出和图像类别的标签，输出的64维数据中最大值对应的维度序号与图像类别标签的序号相同，得到最大值及所在维度的序号；

(4.5)利用步骤(4.4)得到最大值及所在维度的序号在人脸数据集中寻找与输入图像维度序号相同的图像：在人脸数据集中找到与输入图像的维度序号相同的图像以便达到光照的匹配；

(4.6)对比所有维度序号相同图像的最大值：在人脸数据集中寻找到的与输入图像维度序号相同的图像中，对比所有维度序号相同图像的最大值得到的最大值图像即为人脸数据集中图像与输入图像光照最匹配的图像；

(4.7)输出最大值图像作为与输入图像最接近的图像的匹配图像；

(4.8)结束。

2.根据权利要求1所述的一种基于卷积神经网络的人脸图像光照迁移方法，其特征在于，步骤(1)数据集的准备及建立，包括如下步骤：

对Yale Face人脸数据集，采用28个摄影对象的人脸数据用于训练，10个摄影对象的人脸数据用于测试；

对PIE人脸数据集，使用50个摄影对象的人脸数据用于训练，18个摄影对象的人脸数据用于测试；对图像数据做抠图处理。

3.根据权利要求1所述的一种基于卷积神经网络的人脸图像光照迁移方法，其特征在于，步骤(2)预训练模型的准备，包括：

针对于Yale Face人脸数据集，采用VGG19卷积神经网络，Matconvnet提供的物体分类数据集ImageNet的预训练模型；

对PIE人脸数据集，使用卷积神经网络VGG16，Matconvnet提供的人脸识别模型VggFace的预训练模型。

4.根据权利要求1所述的一种基于卷积神经网络的人脸图像光照迁移方法，其特征在于，步骤(3)得到光照分类模型如下：

训练光照分类模型首先按照分类任务去掉原网络的最后一层全连接层，添加新的用于训练的softmax层、top1-error层和top5-error层，根据数据集的类别数添加新的全连接层，Yale Face数据集为64类，PIE数据集为21类；然后fine tune整个网络，微调网络前几层的权重，学习率设置为1*10^-4，迭代300轮，完成人脸图像光照分类任务，由VGG16网络和VGGFace预训练模型训练出光照分类模型。

5.根据权利要求1所述的一种基于卷积神经网络的人脸图像光照迁移方法，其特征在于，步骤(4)基于光照分类模型的光照匹配如下：

在人脸光照图像数据集中寻找与输入图像光照效果相同的图像，输出该光照相同的图像，在光照分类模型的基础上，使用Yale Face数据集训练出的模型，完成对人脸光照图像的光照匹配。