[发明专利]一种基于生成式对抗网络的人脸数据身份去识别方法有效
申请号: | 202110277183.1 | 申请日: | 2021-03-15 |
公开(公告)号: | CN112949535B | 公开(公告)日: | 2022-03-11 |
发明(设计)人: | 杨嵩林;程月华 | 申请(专利权)人: | 南京航空航天大学 |
主分类号: | G06V40/16 | 分类号: | G06V40/16;G06V10/44;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 无锡华源专利商标事务所(普通合伙) 32228 | 代理人: | 聂启新 |
地址: | 214000 江苏省*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 生成 对抗 网络 数据 身份 识别 方法 | ||
1.一种基于生成式对抗网络的人脸数据身份去识别方法,其特征在于,所述去识别方法包括:
构建图像编码-生成网络,包括搭建模型框架;所述图像编码-生成网络用于对人脸图像在隐空间的人脸属性、表情位姿进行编码与解耦,所述人脸图像包括人脸属性图像和表情位姿图像;
当所述人脸属性图像和表情位姿图像为不同人脸时,将所述人脸图像输入至所述图像编码-生成网络得到异脸新图生成图像,实现对于人眼视觉的身份去识别;当所述人脸属性图像和表情位姿图像为相同人脸时,将所述人脸图像输入至所述图像编码-生成网络得到同脸原图重构图像,作为训练对抗向量-生成网络的基础;
构建对抗向量-生成网络,包括搭建模型框架;取同脸输入时的人脸图像在隐空间的特征向量并输入至所述对抗向量-生成网络,得到对抗样本图像,所述对抗样本图像的特征为人脸识别模型识别结果差距较大、人眼视觉差距较小,实现人脸识别模型的身份去识别;
搭建所述图像编码-生成网络的模型框架,包括:采用预训练好的ResNet-50网络作为人脸属性编码网络,采用Inception-V3网络作为表情位姿编码网络,两个编码网络的输出均为送入全连接层前的特征向量;采用预训练好的网络结构作为特征点编码网络,所述特征点编码网络用于提取所述表情位姿图像和输出图像的特征点编码,通过所述特征点编码描述人脸器官位置;
采用四层全连接神经网络作为映射网络,所述四层全连接神经网络的各层间采用LReLU作为激活函数;
采用预训练好的synthesis网络作为生成网络;
设置判别器,所述判别器用于判断经所述映射网络得到的第二隐向量是否服从满足输入所述生成网络要求的分布形式;所述第二隐向量还作为同脸输入时的人脸图像在隐空间的特征向量;
搭建所述对抗向量-生成网络的模型框架,包括:
采用预训练好的ResNet-50网络作为人脸属性编码网络,采用预训练好的网络结构作为特征点编码网络,所述特征点编码网络用于提取所述表情位姿图像和对抗样本图像的特征点编码,通过所述特征点编码描述人脸器官位置;
采用四层全连接神经网络作为对抗向量映射网络,所述四层全连接神经网络的各层间采用LReLU作为激活函数,所述对抗向量映射网络与映射网络的神经元参数不同;
采用预训练好的synthesis网络作为生成网络。
2.根据权利要求1所述的基于生成式对抗网络的人脸数据身份去识别方法,其特征在于,所述构建图像编码-生成网络以及构建对抗向量-生成网络,还包括:
设置训练优化目标,根据所述优化目标对待训练模型进行训练。
3.根据权利要求2所述的基于生成式对抗网络的人脸数据身份去识别方法,其特征在于,设置所述图像编码-生成网络的训练优化目标,包括:
确定第一待训练模型包括所述表情位姿编码网络、映射网络和判别器;
采用人脸图像生成器生成多个所述人脸图像以及每张所述人脸图像对应的第二隐向量,构成二元组(image,w)数据作为第一训练数据集,其中image为所述人脸图像,w为所述第二隐向量;
设置第一训练优化目标,包括:最小化所述人脸属性图像、所述生成网络输出的输出图像分别输入至所述人脸属性编码网络得到的人脸属性编码间的距离,最小化所述表情位姿图像、输出图像输入至所述特征点编码网络得到的特征点编码间的距离,最小化所述判别器的衡量结果。
4.根据权利要求3所述的基于生成式对抗网络的人脸数据身份去识别方法,其特征在于,根据所述优化目标对待训练模型进行训练,包括:
随机从所述第一训练数据集中抽样数据,抽样图像作为所述人脸属性图像和表情位姿图像输入至所述图像编码-生成网络的模型框架中进行训练,训练包括异脸训练与同脸训练,训练过程中得到的第二隐向量作为用于训练所述判别器的正样本;
当对不同人脸的所述人脸属性图像和表情位姿图像进行训练时,通过第一训练优化目标训练模型对于人脸属性和表情位姿的解耦能力;当对相同人脸的所述人脸属性图像和表情位姿图像进行训练时,通过第一训练优化目标训练模型对于输入的抽样图像的重构能力;
所述异脸训练与同脸训练按预设频率交替进行,每经过一轮训练更新一次所述第一待训练模型的参数,并重新选择抽样数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京航空航天大学,未经南京航空航天大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110277183.1/1.html,转载请声明来源钻瓜专利网。