[发明专利]人脸换脸方法、装置、设备及计算机存储介质在审
| 申请号: | 201910344673.1 | 申请日: | 2019-04-26 |
| 公开(公告)号: | CN111860045A | 公开(公告)日: | 2020-10-30 |
| 发明(设计)人: | 张涛;覃威宁;王山虎;郑天祥;周润楠;文建华;唐杰 | 申请(专利权)人: | 北京陌陌信息技术有限公司 |
| 主分类号: | G06K9/00 | 分类号: | G06K9/00;G06K9/62;G06T5/00;G06T5/50;G06T7/00 |
| 代理公司: | 北京东方亿思知识产权代理有限责任公司 11258 | 代理人: | 彭琼 |
| 地址: | 100102 北京市*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 人脸换脸 方法 装置 设备 计算机 存储 介质 | ||
1.一种人脸换脸方法,其特征在于,包括:
获得第一人脸图像和第二人脸图像;
识别所述第二人脸图像中的关键点,提取所述关键点圈定的区域的框图,得到第一表情姿态图;
提取所述第二人脸图像中的光照信息,得到第一光照条件图;
将所述第一表情姿态图、所述第一光照条件图和所述第一人脸图像输入生成式对抗网络GAN模型,得到将所述第一表情姿态图、第一光照条件图与所述第一人脸图像融合后的换脸图像。
2.根据权利要求1所述的人脸换脸方法,其特征在于,所述提取所述关键点圈定的区域的框图的过程,包括:
提取并连接各个所述关键点,得到所述关键点组成的若干个封闭图形;
使用第一预设颜色填充所述封闭图形,得到所述第一表情姿态图。
3.根据权利要求2所述的人脸换脸方法,其特征在于,若两个所述封闭图形的位置对称,则分别采用不同的颜色填充上述两个封闭图形。
4.根据权利要求1所述的人脸换脸方法,其特征在于,所述提取所述第二人脸图像中的光照信息,得到第一光照条件图的过程包括:
对所述第二人脸图像进行模糊处理,得到所述第一光照条件图。
5.根据权利要求1所述的人脸换脸方法,其特征在于,所述提取所述第二人脸图像中的光照信息,得到第一光照条件图的过程包括:
将所述第二人脸图像的五官抠除,并用第二预设颜色填充五官所在区域;
使用所述第二人脸图像中脸颊处的光照填充上述颜色填充完成后的所述五官所在区域,得到第三人脸图像;
对所述第三人脸图像进行模糊处理,得到所述第一光照条件图。
6.根据权利要求1所述的人脸换脸方法,其特征在于,所述GAN网络的训练过程包括:
选择属于同一人的两张人脸图像分别作为第四人脸图像和第五人脸图像;
识别所述第五人脸图像中的关键点,提取所述关键点圈定的区域的框图,得到第二表情姿态图;
提取所述第五人脸图像中的光照信息,得到第二光照条件图;
将所述第二表情姿态图、所述第二光照条件图与所述第四人脸图像输入待训练的GAN网络内,得到第六人脸图像;
将所述第六人脸图像与所述第五人脸图像进行比对,依据比对误差调整所述GAN网络的内部参数;
选择不同的人脸图像,重复上述操作,直至得到的比对误差满足预设误差要求,得到所述GAN模型。
7.根据权利要求6所述的人脸换脸方法,其特征在于,所述得到第六人脸图像之后,选择不同的人脸图像之前,所述GAN网络的训练过程,还包括:
将所述第六人脸图像与所述第四人脸图像进行特征映射人脸识别,依据识别结果调整所述GAN网络的内部参数。
8.一种人脸换脸装置,其特征在于,所述装置包括:
图像获得模块,用于获得第一人脸图像和第二人脸图像;
表情提取模块,用于识别所述第二人脸图像中的关键点,提取所述关键点圈定的区域的框图,得到第一表情姿态图;
光照提取模块,用于提取所述第二人脸图像中的光照信息,得到第一光照条件图;
融合模块,用于将所述第一表情姿态图、所述第一光照条件图和所述第一人脸图像输入生成式对抗网络GAN模型,得到将所述第一表情姿态图、第一光照条件图与所述第一人脸图像融合后的换脸图像。
9.一种人脸换脸设备,其特征在于,所述设备包括:处理器以及存储有计算机程序指令的存储器;
所述处理器执行所述计算机程序指令时实现如权利要求1-7任意一项所述的在人脸换脸方法。
10.一种计算机存储介质,其特征在于,所述计算机存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-7任意一项所述的人脸换脸方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京陌陌信息技术有限公司,未经北京陌陌信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910344673.1/1.html,转载请声明来源钻瓜专利网。





