[发明专利]一种基于双解耦生成和半监督学习的活体检测方法及系统

权利要求书

1.一种基于双解耦生成和半监督学习的活体检测方法，其特征在于，包括下述步骤：

对输入图像抠取人脸区域图像，得到RGB颜色通道图；

对待训练的RGB颜色通道图原始样本的每张真图像配对相同身份的一张假图像，构成真假图像对，并为假图像标注攻击类别标签；

构建真人编码器、假体编码器、解码器；

所述构建真人编码器、假体编码器、解码器，具体步骤包括：

真人编码器和假体编码器各自的主干网采用相同的网络结构，设有卷积层、实例归一化层和LeakyReLU，以及五组由池化层、卷积层堆叠及跳级连接的残差块构成的单元；

真人编码器经过全连接层输出隐藏层真人向量，假体编码器经过全连接层输出隐藏层假体向量；

解码器主干网采用卷积层、上采样层、Sigmoid激活层、残差块搭建，真人编码器和假体编码器输出的隐藏层真人向量和隐藏层假体向量首先输入全连接层，经过六组由卷积层堆叠及跳级连接的残差块、上采样层构成的单元，最后经过卷积层输出图像对；

将真图像送入真人编码器得到真人身份向量，将配对的假图像送入假体编码器得到假体身份向量和假体模式向量，将真人身份向量、假体身份向量和假体模式向量合并送入解码器输出重建的真假图像对，构建双解耦生成损失函数进行优化；

所述将真图像送入真人编码器得到真人身份向量，将配对的假图像送入假体编码器得到假体身份向量和假体模式向量，具体步骤包括：

真人解码器输出真人隐藏向量，包括真人身份向量均值和真人身份向量方差

假体编码器输出假体隐藏向量，包括假体身份向量均值假体身份向量方差假体模式向量均值假体模式向量方差

从标准正态分布中采样真人身份变分量假体身份变分量和假体模式变分量

进行重参数操作，分别得到真人身份向量假体身份向量和假体模式向量具体表示为：

将真人身份向量假体身份向量和假体模式向量合并成隐藏向量，输入到解码器，输出重建真假图像对，包括重建真人图像和重建假体图像

所述将真人身份向量、假体身份向量和假体模式向量合并送入解码器输出重建的真假图像对，构建双解耦生成损失函数进行优化，具体步骤包括：

将假体模式向量送入全连接层fc(·)，输出假体类别向量并与真实的假体类别标签y_s计算交叉熵得到分类损失表示为：

其中，k为假体类别数，Y_s为经过独热编码的假体类别标签向量；

在假体身份向量和假体模式向量加入角正交约束得到正交损失表示为：

其中，表示和的内积；

对重建真人图像重建假体图像与对应的原图计算重建损失表示为：

对真人身份向量假体身份向量计算最大平均差别损失表示为：

对重建真人图像和重建假体图像计算配对损失表示为：

通过计算KL散度进行约束，如下式所示：

其中，n为隐藏向量的维数；

将各损失加权求和得到双解耦生成器损失函数表示为：

其中，λ₁、λ₂、λ₃、λ₄表示对应的权重值；

采用Adam优化器，以最小化双解耦生成器损失函数为目标优化真人编码器、假体编码器及解码器；

从标准正态分布采样噪声输入到训练好的解码器得到生成样本；

所述从标准正态分布采样噪声输入到训练好的解码器得到生成样本，具体步骤包括：

设隐藏向量维数为n，从标准正态分布采样维数为n的随机噪声两次，分别得到重建假体身份隐藏向量和重建假体模式隐藏向量

重建真人身份隐藏向量直接由重建假体身份隐藏向量复制，然后经过解码器生成真假图像对，作为生成样本；

裁剪原始样本和生成样本构成的训练集，构建有标签样本、无标签样本、增强后的无标签样本；

构建检测器和教师网络；

构建教师学习模块，将所述有标签样本、无标签样本和增强后的无标签样本送入教师学习模块，得到教师半监督损失、无标签数据的伪标签、教师增强无标签损失；

构建检测器学习模块，将有标签样本、增强后的无标签样本、无标签样本的伪标签送入检测器学习模块更新检测器参数，得到检测器更新损失；

利用教师半监督损失、教师增强无标签损失、检测器更新损失，更新教师网络参数；

根据损失函数用优化器迭代更新检测器和教师网络的参数，完成训练后保存教师网络和检测器的参数；

将验证集人脸RGB颜色通道图送入训练好的检测器，得到分类分数，根据不同的判决阈值得到预测的标签值，与真实标签比较，计算虚警率和漏检率，取两者相等时的阈值作为测试判决阈值；

将测试集人脸RGB颜色通道图送入训练好的检测器，得到分类分数，根据测试判决阈值得到最终预测的标签值，计算基准指标。