[发明专利]虚拟人物模型控制方法、装置及电子设备在审
申请号: | 202210126954.1 | 申请日: | 2022-02-11 |
公开(公告)号: | CN114527873A | 公开(公告)日: | 2022-05-24 |
发明(设计)人: | 钱立辉;韩欣彤 | 申请(专利权)人: | 广州虎牙科技有限公司 |
主分类号: | G06F3/01 | 分类号: | G06F3/01 |
代理公司: | 成都极刻智慧知识产权代理事务所(普通合伙) 51310 | 代理人: | 陈万艺 |
地址: | 510000 广东省广州市番禺*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 虚拟 人物 模型 控制 方法 装置 电子设备 | ||
1.一种虚拟人物模型控制方法,其特征在于,所述方法包括:
从二维图像中获取目标人物的关键点二维坐标数据;
针对人体四肢中的至少两个肢体部分,分别从所述关键点二维坐标数据中提取对应的至少两组第一关键点数据集;
将所述至少两组第一关键点数据集分别输入至少两个不同的第一预测模型进行处理,获得分别与所述至少两个肢体部分对应的第一关键点三维位姿数据;
根据获得的各组所述第一关键点三维位姿数据控制同一虚拟人物模型执行相应的动作。
2.根据权利要求1所述的方法,其特征在于,所述针对人体四肢中的至少两个肢体部分,分别从所述关键点二维坐标数据中提取对应的至少两组第一关键点数据集的步骤,包括:
针对所述至少两个肢体部分的每个肢体部分,从所述关键点二维坐标数据中提取包括与该肢体部分对应的关键点二维坐标数据及与躯干部分对应的关键点二维坐标数据作为该肢体部分的第一关键点数据集。
3.根据权利要求2所述的方法,其特征在于,所述第一关键点三维位姿数据包括对应的肢体部分中预设关节点的空间位置数据及姿态角度数据。
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
将目标人物的关键点二维坐标数据整体作为第二关键点数据集;
将所述第二关键点数据集输入第二预测模型进行处理,获得整体三维位姿数据;其中,所述整体三维位姿数据包括与所述至少两个肢体部分对应的第三关键点三维位姿数据及与躯干部分对应的第二关键点三维位姿数据;
所述根据获得的各组所述第一关键点三维位姿数据控制同一虚拟人物模型执行相应的动作的步骤,包括:
使用所述第一关键点三维位姿数据替换所述整体三维位姿数据中的第三关键点三维位姿数据,并使用替换处理后的整体三维位姿数据控制所述虚拟人物模型执行相应的动作。
5.根据权利要求4所述的方法,其特征在于,所述至少两个肢体部分包括左臂和右臂,所述至少两个不同的第一预测模型包括左臂预测模型和右臂预测模型;
所述左臂预测模型包括依次连接的左臂第一全连接网络、左臂第二全连接网络和左臂第三全连接网络;所述左臂第一全连接网络的输入为44维的左臂的所述第一关键点数据集,所述左臂第一全连接网络的输出为512维的数据;所述左臂第二全连接网络的输入为所述左臂第一全连接网络输出的512维的数据,所述左臂第二全连接网络的输出为512维的数据;所述左臂第三全连接网络的输入为所述左臂第二全连接网络输出的512维的数据,所述左臂第三全连接网络的输出为12维的左臂的所述第一关键点三维位姿数据;
所述右臂预测模型包括依次连接的右臂第一全连接网络、右臂第二全连接网络和右臂第三全连接网络;所述右臂第一全连接网络的输入为44维的右臂的所述第一关键点数据集,所述右臂第一全连接网络的输出为512维的数据;所述右臂第二全连接网络的输入为所述右臂第一全连接网络输出的512维的数据,所述右臂第二全连接网络的输出为512维的数据;所述右臂第三全连接网络的输入为所述右臂第二全连接网络输出的512维的数据,所述右臂第三全连接网络的输出为12维的右臂的所述第一关键点三维位姿数据;
所述第二预测模型包括依次连接的躯干第一全连接网络、躯干第二全连接网络和躯干第三全连接网络;所述躯干第一全连接网络的输入为48维的所述第二关键点三维位姿数据,所述躯干第一全连接网络的输出为512维的数据;所述躯干第二全连接网络的输入为所述躯干第一全连接网络输出的512维的数据,所述躯干第二全连接网络的输出为512维的数据;所述躯干第三全连接网络的输入为所述躯干第二全连接网络输出的512维的数据,所述躯干第三全连接网络的输出为144维的所述整体三维位姿数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州虎牙科技有限公司,未经广州虎牙科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210126954.1/1.html,转载请声明来源钻瓜专利网。