[发明专利]一种虚拟角色捏脸的方法、装置、电子设备及存储介质有效
申请号: | 202110697554.1 | 申请日: | 2021-06-23 |
公开(公告)号: | CN113409437B | 公开(公告)日: | 2023-08-08 |
发明(设计)人: | 杨司琪;高永强 | 申请(专利权)人: | 北京字节跳动网络技术有限公司 |
主分类号: | G06T15/20 | 分类号: | G06T15/20;G06V40/16;G06N3/045;G06N3/08;G06V10/766;G06V10/82;A63F13/52;A63F13/822 |
代理公司: | 北京中知法苑知识产权代理有限公司 11226 | 代理人: | 李明 |
地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 虚拟 角色 方法 装置 电子设备 存储 介质 | ||
本公开提供了一种虚拟角色捏脸的方法、装置、电子设备及存储介质,其中,该方法包括:响应于用户的获取请求,获取用户的用户人脸图像;利用训练好的骨骼点生成网络对用户人脸图像进行骨骼点参数提取,得到与用户人脸图像对应的骨骼点参数;骨骼点生成网络利用用户人脸图像样本、以及基于预设骨骼点参数生成的虚拟人脸图像样本训练得到;基于骨骼点参数进行人脸渲染,得到与用户人脸图像对应的虚拟人脸图像。本公开中的骨骼点生成网络可以同时学习到真实的用户人脸和虚拟人脸的特征,预设骨骼点参数还可以为用户人脸图像对应的骨骼点参数提供数据支持,进而可以快速的渲染出与用户人脸相似的虚拟人脸图像,捏脸的效率和相似度均较高。
技术领域
本公开涉及图像处理技术领域,具体而言,涉及一种虚拟角色捏脸的方法、装置、电子设备及存储介质。
背景技术
随着计算机技术和移动终端的发展,出现越来越多的角色扮演游戏。为了满足不同玩家的个性化需求,在创建玩家的虚拟角色时,通常会为玩家提供捏脸功能,使得玩家能够根据自己的喜好创建自己喜欢的角色,例如,可以创建跟自己的真实人脸相似的虚拟角色。
相关技术中提供了一种捏脸方案,该方案针对每个用户可以训练一个特定的骨骼点参数回归器,在该个骨骼点参数回归器可以输出相应的骨骼点参数的情况下,可以利用骨骼点参数渲染出游戏角色。由于该捏脸方案采用迭代回归的方式来训练骨骼点参数回归器,训练过程收敛较慢,且需要为不同的用户训练不同的骨骼点参数回归器,费时费力。
发明内容
本公开实施例至少提供一种虚拟角色捏脸的方法、装置、电子设备及存储介质。
第一方面,本公开实施例提供了一种虚拟角色捏脸的方法,所述方法包括:
响应于用户的获取请求,获取所述用户的用户人脸图像;
利用训练好的骨骼点生成网络对所述用户人脸图像进行骨骼点参数提取,得到与所述用户人脸图像对应的骨骼点参数;所述骨骼点生成网络利用用户人脸图像样本、以及基于预设骨骼点参数生成的虚拟人脸图像样本训练得到;
基于所述骨骼点参数进行人脸渲染,得到与所述用户人脸图像对应的虚拟人脸图像。
在一种可能的实施方式中,所述基于所述骨骼点参数进行人脸渲染,得到与所述用户人脸图像对应的虚拟人脸图像,包括:
将所述骨骼点参数输入到预设渲染引擎以便所述预设渲染引擎基于所述骨骼点参数重建出人脸信息;
接收所述预设渲染引擎重建出的人脸信息,并基于所述人脸信息确定与所述用户人脸图像对应的虚拟人脸图像。
在一种可能的实施方式中,所述骨骼点生成网络包括特征提取层和全连接层;所述利用训练好的骨骼点生成网络对所述用户人脸图像进行骨骼点参数提取,得到与所述用户人脸图像对应的骨骼点参数,包括:
将所述用户人脸图像输入到所述骨骼点生成网络包括的特征提取层,得到所述特征提取层输出的图像特征;
将所述特征提取层输出的图像特征输入到所述骨骼点生成网络包括的全连接层,得到所述全连接层输出的骨骼点参数;
基于所述全连接层输出的骨骼点参数,确定与所述用户人脸图像对应的骨骼点参数。
在一种可能的实施方式中,按照如下步骤训练所述骨骼点生成网络:
获取用户人脸图像样本以及基于预设骨骼点参数生成的虚拟人脸图像样本;
利用所述骨骼点生成网络包括的特征提取层分别对所述用户人脸图像样本和虚拟人脸图像样本进行特征提取,得到第一图像样本特征和第二图像样本特征;以及利用所述骨骼点生成网络包括的全连接层对所述第二图像样本特征进行骨骼点参数提取,确定与所述虚拟人脸图像样本对应的预测骨骼点参数;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京字节跳动网络技术有限公司,未经北京字节跳动网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110697554.1/2.html,转载请声明来源钻瓜专利网。
- 上一篇:水质检测抽样系统及方法
- 下一篇:具有高效喷药结构的植保无人机