[发明专利]基于轻量级的多尺度特征人脸融合方法

说明书

本发明涉及一种基于轻量级网络的多尺度人脸特征融合方法，用以填补人脸特征级融合数据集的空白，以及提高融合人脸的生成效率和质量。包括下列步骤：1)在公开人脸数据集CelebA上通过双目测距的方法选取正脸图像，将选取到的图像按6:2:2的比例划分成训练集、验证集和测试集；2)对数据集的人脸进行预处理，首先统一尺寸，并且利用Dlib库确定人脸，保证图像的大部分都是有用的人脸信息；3)将训练集输入到多尺度特征融合的轻量级网络中，获得训练好的能在特征级别进行人脸融合的模型；4)在验证集上进行调整，获得效果最好的模型超参数，再将测试集的人脸图像输入到训练好的模型之中，得到最终的特征融合人脸图像。本发明首先采用了多特征的方式在特征级别上进行人脸融合，再使用端到端的轻量级学习模型生成融合人脸，这既有效地加强了参与融合的特征的强度，也大大削减了模型参数，提高了融合的效率，很适合实际的特征级人脸融合数据集的建造。

技术领域

本发明涉及人脸融合攻击领域，涉及一种基于轻量级的多尺度特征人脸融合方法。

背景技术

人脸识别技术在近年的发展十分迅猛，并且在实际应用中已经成熟。但在过去的几年里，研究人员指出了生物识别系统存在各种潜在弱点。目前，自动或半自动生物特征识别的使用已成为现实。因此，此类系统中的攻击数量有所增加。最常见的生物特征攻击之一是表示攻击(PA)，因为它相对容易执行。关于生物特征攻击，近两年兴起的人脸融合攻击是最具威胁性的攻击之一，因为现有的身份验证系统通常无法正确检测它们。在这种攻击中，通过两个不同人脸图像(真人和罪犯)的融合生成假脸，图像结果存储在身份系统中。在人脸识别系统应执行识别任务的情况下，这些攻击可能会产生危险情况。值得高兴的是，现有的检测方法众多，并且在非公开的数据集上都取得了很好的正确率。但这些非公开的数据集大多都是在像素级上进行融合操作的，其中的完全融合甚至无法遮掩肉眼可鉴别的阴影的存在，视觉效果很差，基于传统的手工提取特征的方法完全能够轻松地取得高正确率。并且，像素级融合的操作复杂，需要先确定图像中人脸的标志点，通过三角剖分和仿射变换之后需要给定融合因子才能进行融合，所以后续对特征级融合的检测工作很难展开，从而本研究工作提出了一种基于轻量级的多尺度特征人脸融合的方法。这项技术能通过两张真实人脸创建一个特征级融合人脸数据集。

为了支持特征级人脸融合攻击的检测工作，人脸特征融合数据集成为一个亟待解决的问题。最近的基于深度学习方法使用预先训练的CNN架构提取多尺度特征来进行人脸融合。

发明内容

针对任务目的，本发明提供一种基于轻量级的多尺度人脸特征融合方法。其特征在于：利用人脸公开数据集CelebA获取正面人脸图像，构造数据集，再提取多尺度人脸特征进行融合，通过HourglassNet和SqueezeNet优化而成的轻量级网络有效生成融合人脸。所述方法由包括以下步骤：

步骤1；在CelebA中利用双目与鼻子最上标测距方法选择正面人脸图像组成人脸融合数据集，并按6:2:2的比例划分为训练集、验证集和测试集；

步骤2：对数据集进行预处理，将所有图像统一尺寸，并归一化处理；

步骤3；将训练集数据两两一组输入构建好的网络，在多尺度上提取人脸特征并进行融合，最后生成有效的融合人脸图像；

步骤4：只使用模型测试模块，在验证集上调整模型超参数，使得在训练集上和验证集上取得最佳效果；

步骤5：在测试集上进行测试，观察测试结果，根据结果对模型进行调试，在测试集上取得有效结果后保存模型并保存所有融合人脸。本发明提供了一种轻量级的多尺度特征级人脸融合的方法。与现有人脸融合数据集相比，具备以下有益效果：

本方案采用轻量级网络，模型的参数量少，在保证精度的情况下运行速度快，极高地提升了效率；另外，在多尺度上进行融合可以加强特征量，提高融合人脸与参与者人脸的身份相似性；在特征级上进行融合可以避免伪影的出现，在视觉效果上取得真实可信度。

附图说明