[发明专利]可控人脸合成方法、装置、电子设备及存储介质在审
| 申请号: | 202210514255.4 | 申请日: | 2022-05-11 |
| 公开(公告)号: | CN115100088A | 公开(公告)日: | 2022-09-23 |
| 发明(设计)人: | 徐枫;刘金辉 | 申请(专利权)人: | 清华大学 |
| 主分类号: | G06T5/50 | 分类号: | G06T5/50;G06V10/774;G06V40/16;G06V10/82;G06T3/00 |
| 代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 黄德海 |
| 地址: | 100084*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 可控 合成 方法 装置 电子设备 存储 介质 | ||
1.一种可控人脸合成方法,其特征在于,包括以下步骤:
获取至少一张人脸在styleGAN模型中的隐空间向量;
从所述隐空间向量中解耦所述至少一张人脸的标识信息和差异信息;以及
控制所述标识信息不变的同时,随机变化所述差异信息,生成人脸可控合成结果。
2.根据权利要求1所述的方法,其特征在于,所述从所述隐空间向量中解耦所述至少一张人脸的标识信息和差异信息,包括:
利用预先训练的AutoEncoder模型从所述隐空间向量解耦所述至少一张人脸的标识信息。
3.根据权利要求2所述的方法,其特征在于,在解耦所述至少一张人脸的标识信息之前,还包括:
任选两张人脸的隐空间向量;
将所述两张人脸的隐空间向量输入至所述AutoEncoder模型的编码器,分别生成表示标识和差异的第一标识向量、第二标识向量、第一差异向量和第二差异向量;
将所述第一标识向量和所述第二标识向量及所述第一差异向量和所述第二差异向量互换,并输入至所述AutoEncoder模型的解码器,生成所述两张人脸的新隐空间向量的同时,将所述两张人脸的隐空间向量输入至所述解码器中,得到所述两张人脸的重建隐空间向量,以达到约束在所述人脸识别模型的判定下为同一个人,得到所述预先训练的AutoEncoder模型。
4.根据权利要求1所述的方法,其特征在于,所述控制所述标识信息不变的同时,随机变化所述差异信息,生成人脸可控合成结果,包括:
分别里利用对应的VAE模型将所述标识信息和差异信息编码至高斯分布,以获取高斯分布采样结果;
基于所述高斯分布采样结果生成所述人脸可控合成结果。
5.一种可控人脸合成装置,其特征在于,包括:
获取模块,用于获取至少一张人脸在styleGAN模型中的隐空间向量;
解耦模块,用于从所述隐空间向量中解耦所述至少一张人脸的标识信息和差异信息;以及
合成模块,用于控制所述标识信息不变的同时,随机变化所述差异信息,生成人脸可控合成结果。
6.根据权利要求5所述的装置,其特征在于,所述解耦模块包括:
解耦单元,用于利用预先训练的AutoEncoder模型从所述隐空间向量解耦所述至少一张人脸的标识信息。
7.根据权利要求6所述的装置,其特征在于,所述解耦模块还包括:
选取单元,用于任选两张人脸的隐空间向量;
第一生成单元,用于将所述两张人脸的隐空间向量输入至所述AutoEncoder模型的编码器,分别生成表示标识和差异的第一标识向量、第二标识向量、第一差异向量和第二差异向量;
训练单元,用于将所述第一标识向量和所述第二标识向量及所述第一差异向量和所述第二差异向量互换,并输入至所述AutoEncoder模型的解码器,生成所述两张人脸的新隐空间向量的同时,将所述两张人脸的隐空间向量输入至所述解码器中,得到所述两张人脸的重建隐空间向量,以达到约束在所述人脸识别模型的判定下为同一个人,得到所述预先训练的AutoEncoder模型。
8.根据权利要求5所述的装置,其特征在于,所述合成模块包括:
编码单元,用于分别里利用对应的VAE模型将所述标识信息和差异信息编码至高斯分布,以获取高斯分布采样结果;
第二生成单元,用于基于所述高斯分布采样结果生成所述人脸可控合成结果。
9.一种电子设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序,以实现如权利要求1-4任一项所述的可控人脸合成方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行,以用于实现如权利要求1-4任一项所述的可控人脸合成方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学,未经清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210514255.4/1.html,转载请声明来源钻瓜专利网。





