[发明专利]虚拟角色的动画生成方法及装置、存储介质、终端有效
申请号: | 202111527313.9 | 申请日: | 2021-12-14 |
公开(公告)号: | CN114219878B | 公开(公告)日: | 2023-05-23 |
发明(设计)人: | 张建杰;金师豪;林炳坤;柴金祥 | 申请(专利权)人: | 魔珐(上海)信息科技有限公司;上海墨舞科技有限公司 |
主分类号: | G06T13/40 | 分类号: | G06T13/40;H04N21/43;H04N21/439;H04N21/44 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 骆苏华 |
地址: | 200233 上海市徐汇区宜*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 虚拟 角色 动画 生成 方法 装置 存储 介质 终端 | ||
1.一种虚拟角色的动画生成方法,其特征在于,所述方法包括:
获取当前帧图像,所述当前帧图像包括用户的影像;
根据所述当前帧图像,确定当前帧用户对应的状态信息,所述状态信息包括:人脸信息、人体姿态信息和眼神方向信息,所述人脸信息包括脸部姿态信息和脸部表情信息;
根据所述状态信息进行重定向处理,以得到所述虚拟角色的动画数据,其中,所述动画数据和所述当前帧图像的时间码相同,所述动画数据包括:面部动画数据、身体动画数据和眼球动画数据;
其中,所述当前帧图像是由单个摄像头采集的,所述人体姿态信息包括:躯干颈部动作信息,所述躯干颈部动作信息用于描述用户躯干和颈部的动作,根据所述当前帧图像,确定当前帧用户对应的状态信息包括:
根据所述当前帧图像,确定当前帧用户对应的脸部姿态信息;
获取关联姿态信息,所述关联姿态信息包括:关联图像中用户对应的脸部姿态信息和/或躯干颈部动作信息,其中,所述关联图像为所述当前帧图像之前的连续多帧图像和/或所述当前帧图像之后的连续多帧图像;
将当前帧用户对应的脸部姿态信息和所述关联姿态信息输入至人体姿态匹配模型,以得到当前帧用户对应的躯干颈部动作信息;
其中,所述人体姿态匹配模型是根据第一训练数据对第一预设模型进行训练得到的,所述第一训练数据包括多对第一样本信息,每对第一样本信息包括:样本用户对应的脸部姿态信息和所述样本用户对应的躯干颈部动作信息。
2.根据权利要求1所述的虚拟角色的动画生成方法,其特征在于,所述方法还包括:
至少根据所述动画数据,确定所述虚拟角色对应的视频流数据;
将所述视频流数据发送至直播服务器,以使所述直播服务器将所述视频流数据转发至其他用户终端。
3.根据权利要求2所述的虚拟角色的动画生成方法,其特征在于,至少根据所述动画数据,确定所述虚拟角色对应的视频流数据包括:
获取用户输入的语音信息;
对所述语音信息和画面信息进行同步处理,以得到虚拟角色对应的视频流数据,其中,所述画面信息是根据所述动画数据对所述虚拟角色进行渲染得到的。
4.根据权利要求1所述的虚拟角色的动画生成方法,其特征在于,所述身体动画数据包括躯干颈部动画数据和四肢动画数据,根据所述状态信息进行重定向处理,以得到所述虚拟角色的动画数据包括:
根据所述躯干颈部动作信息进行重定向处理,以得到所述躯干颈部动画数据;
获取用户选择的四肢动画数据;
判断所述躯干颈部动画数据对应的动作和所述四肢动画数据对应的动作是否匹配,如果否,则调整所述躯干颈部动画数据,以使调整后的躯干颈部动画数据与所述四肢动画数据对应的动作匹配;
将所述四肢动画数据与匹配的躯干颈部动画数据进行融合处理,以得到所述身体动画数据。
5.根据权利要求1所述的虚拟角色的动画生成方法,其特征在于,根据所述当前帧图像,确定当前帧用户对应的状态信息还包括:
获取用户输入的四肢动作信息,所述四肢动作信息用于描述用户四肢的动作;
对所述躯干颈部动作信息和所述四肢动作信息进行融合处理,以得到当前帧的人体姿态信息。
6.根据权利要求5所述的虚拟角色的动画生成方法,其特征在于,对所述躯干颈部动作信息和所述四肢动作信息进行融合处理之前,所述方法还包括:
判断所述躯干颈部动作信息描述的躯干和颈部的动作是否满足动作条件,如果否,则调整所述躯干颈部动作信息,以使调整后的躯干颈部动作信息描述的躯干和颈部的动作满足所述动作条件;
其中,所述动作条件是根据所述四肢动作信息确定的。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于魔珐(上海)信息科技有限公司;上海墨舞科技有限公司,未经魔珐(上海)信息科技有限公司;上海墨舞科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111527313.9/1.html,转载请声明来源钻瓜专利网。