[发明专利]虚拟直播方法、装置、系统及存储介质有效
| 申请号: | 202011023760.6 | 申请日: | 2020-09-25 |
| 公开(公告)号: | CN111970535B | 公开(公告)日: | 2021-08-31 |
| 发明(设计)人: | 柴金祥;其他发明人请求不公开姓名 | 申请(专利权)人: | 魔珐(上海)信息科技有限公司;上海墨舞科技有限公司 |
| 主分类号: | H04N21/2187 | 分类号: | H04N21/2187;H04N21/234;G06T13/40 |
| 代理公司: | 北京林达刘知识产权代理事务所(普通合伙) 11277 | 代理人: | 刘新宇 |
| 地址: | 201803 上海市嘉*** | 国省代码: | 上海;31 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 虚拟 直播 方法 装置 系统 存储 介质 | ||
1.一种虚拟直播方法,其特征在于,所述方法包括:
获取真实对象的真实特征数据,所述真实特征数据包括所述真实对象在表演过程中的动作数据和面部数据;
根据所述真实特征数据确定虚拟角色的目标特征数据,所述虚拟角色为预设的动画模型,所述目标特征数据包括所述虚拟角色的动作数据和面部数据;
根据所述目标特征数据确定所述虚拟角色对应的视频推流数据;
将所述虚拟角色对应的视频推流数据发送至目标直播平台,所述视频推流数据用于指示所述目标直播平台展示所述虚拟角色的虚拟直播;
所述根据所述目标特征数据确定所述虚拟角色对应的视频推流数据,包括:获取参考数据,所述参考数据包括所述真实对象在表演过程中的声音录制数据和虚拟相机位姿数据;
根据所述目标特征数据和所述参考数据,确定所述虚拟角色对应的视频推流数据;其中,所述虚拟相机位姿数据用于指示待生成的动画画面的预览相机视角,所述虚拟相机位姿数据包括:虚拟相机位置、虚拟相机方向,以及虚拟相机焦距参数;
所述根据所述真实特征数据确定虚拟角色的目标特征数据,包括:
将所述真实特征数据转化为虚拟对象的虚拟特征数据,所述虚拟对象为对所述真实对象进行还原重建得到的虚拟模型,所述虚拟特征数据包括所述虚拟对象的动作数据和面部数据;
将所述虚拟特征数据进行重定向处理得到所述虚拟角色的所述目标特征数据,包括:将所述虚拟对象的面部数据进行重定向处理,得到所述虚拟角色的面部数据,所述面部数据包括表情数据和/或眼神数据;
所述将所述虚拟对象的面部数据进行重定向处理,得到所述虚拟角色的面部数据,包括:
获取所述虚拟对象的面部数据与所述虚拟角色的面部数据之间的第二对应关系,所述面部数据用于指示面部结构特征和情绪风格特征;
根据所述第二对应关系,将所述虚拟对象的面部数据重定向处理至所述虚拟角色上,得到所述虚拟角色的所述面部数据;
其中,所述第二对应关系为预先训练的神经网络模型,用于表示虚拟对象的面部数据与虚拟角色的面部数据之间的相关关系,或者,所述第二对应关系为预设的数学模型,所述数学模型包括虚拟对象的面部数据与虚拟角色的面部数据之间的模型系数。
2.根据权利要求1所述的方法,其特征在于,所述根据所述目标特征数据确定所述虚拟角色对应的视频推流数据,包括:
当接收到第一触发指令时,根据所述目标特征数据和预设动作数据,确定所述虚拟角色对应的视频推流数据;
其中,所述预设动作数据用于指示所述虚拟角色的预设骨骼动作。
3.根据权利要求1所述的方法,其特征在于,所述根据所述目标特征数据确定所述虚拟角色对应的视频推流数据,包括:
当接收到第二触发指令时,根据所述目标特征数据和预设特效数据,确定所述虚拟角色对应的视频推流数据;
其中,所述预设特效数据用于指示所述虚拟角色的预设虚拟特效。
4.根据权利要求1所述的方法,其特征在于,所述目标特征数据和所述参考数据均携带有时间码,所述根据所述目标特征数据和所述参考数据,确定所述虚拟角色对应的视频推流数据,包括:
根据所述目标特征数据和所述参考数据各自对应的所述时间码,将所述目标特征数据和所述参考数据进行对齐处理;
根据对齐处理后的所述目标特征数据和所述参考数据,确定所述虚拟角色对应的视频推流数据。
5.根据权利要求4所述的方法,其特征在于,所述根据对齐处理后的所述目标特征数据和所述参考数据,确定所述虚拟角色对应的视频推流数据,包括:
根据对齐处理后的所述虚拟相机位姿数据和所述目标特征数据,得到动画画面;
对所述动画画面进行渲染得到渲染结果;
根据所述渲染结果和所述声音录制数据,确定所述虚拟角色对应的视频推流数据。
6.根据权利要求1所述的方法,其特征在于,所述获取真实对象的真实特征数据,包括:
获取所述真实对象的所述动作数据,所述动作数据包括肢体动作数据和/或手势动作数据;以及,
获取所述真实对象的所述面部数据,所述面部数据包括表情数据和/或眼神数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于魔珐(上海)信息科技有限公司;上海墨舞科技有限公司,未经魔珐(上海)信息科技有限公司;上海墨舞科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011023760.6/1.html,转载请声明来源钻瓜专利网。





