[发明专利]基于轻量级的多尺度特征人脸融合方法

权利要求书

1.一种基于轻量级的多尺度人脸特征融合方法。其特征在于：利用人脸公开数据集CelebA获取正面人脸图像，构造数据集，再提取多尺度人脸特征进行融合，通过HourglassNet和SqueezeNet优化而成的轻量级网络有效生成融合人脸。所述方法由包括以下步骤：

步骤1；在CelebA中利用双目与鼻子最上标测距方法选择正面人脸图像组成人脸融合数据集，并按6:2:2的比例划分为训练集、验证集和测试集；

步骤2：对数据集进行预处理，将所有图像统一尺寸，并归一化处理；

步骤3；将训练集数据两两一组输入构建好的网络，在多尺度上提取人脸特征并进行融合，最后生成有效的融合人脸图像；

步骤4：只使用模型测试模块，在验证集上调整模型超参数，使得在训练集上和验证集上取得最佳效果；

步骤5：在测试集上进行测试，观察测试结果，根据结果对模型进行调试，在测试集上取得有效结果后保存模型并保存所有融合人脸。

2.根据权利要求1所述的基于轻量级的多尺度人脸特征融合的方法，其特征在于，在步骤3中，使用网络提取多尺度人脸特征进行融合，以此加强融合人脸的身份特征，保证融合的有效性；

首先，将训练集的人脸图像两两一组，分别同时输入网络，经过共享参数的新型轻量级网络模块，提取多尺度人脸身份特征；模块以Hourglass网络为基础框架，每一个输入分成两路处理，第一条不作处理，作为当前输入的副本保留；另一条路线作下采样处理，整个网络以中心对称的结构呈现，在后续的上采样中，在对称的尺度上与相同尺度的输入副本元素逐个相加，以此最大限度地保留融合参与者的身份特征信息，增多融合特征信息，提高融合人脸质量。另外，以SqueezeBlock替代ResBlock作为Hourglass的下采样基本部件，首先减少输入的通道数，再将输出分为两路，两路利用大小不同的卷积核提取特征，最后将两路输出在通道维度上拼接起来，最后利用池化层完成下采样，得到整个部件的输出。利用SqueezeBlock的目的在于保证模型精度的同时，极大地减少模型参数数量，一开始的减少通道数较普通卷积就减少了9倍的参数量，后续的两条分支路线减少了特征的损失，并且，将下采样操作后移能够提升模型精度。

具体的模型总体架构工作过程为：两个输入维度经过预处理后都为128×128×3，每一个输入进入网络后经过Hourglass的第一条路线，保存副本，而后经过SqueezeBlock的第一层，由1×1卷积组成，降低通道数量，再分为两路，利用1×1和3×3的混合卷积提取特征，将两组输出在通道维度上拼接起来，作为一个整体输入到步长为2的池化层，完成下采样操作。在经过多个SqueezeBlock之后，再完成上采样操作，在每一层上采样中，输入由经过SqueezeBlock路线上的输出和保留的对应尺度上的副本求和组成，直到恢复到与输入同样尺寸维度。

3.根据权利要求1所述的基于轻量级网络的多尺度特征人脸融合的方法，其特征在于，所述步骤3中的训练过程具体包括：

初始化参数：采用Adam作为优化器，将一个批次的训练样本数量设置为64，权重衰减设置为1e-7，初始学习率设置为1e-3，使用L1损失和感知损失。

在验证集上调整超参，使得模型达到最佳效果，在测试集上测试模型的泛化性能，最后将所有融合人脸收集，与相应的融合参与者的真实人脸图像放置在一起，做成新的融合人脸数据集。