[发明专利]虚拟形象渲染方法及装置、电子设备和存储介质在审
申请号: | 201911203909.6 | 申请日: | 2019-11-29 |
公开(公告)号: | CN110889382A | 公开(公告)日: | 2020-03-17 |
发明(设计)人: | 韩蕊;李佳桦;刘文韬 | 申请(专利权)人: | 深圳市商汤科技有限公司 |
主分类号: | G06K9/00 | 分类号: | G06K9/00 |
代理公司: | 北京林达刘知识产权代理事务所(普通合伙) 11277 | 代理人: | 刘新宇 |
地址: | 518054 广东省深圳市*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 虚拟 形象 渲染 方法 装置 电子设备 存储 介质 | ||
1.一种虚拟形象渲染方法,其特征在于,包括:
对采集到的视频流中的视频帧进行检测,确定所述视频帧中目标对象的对象区域,所述对象区域包括身体区域、面部区域及手部区域;
对所述目标对象的对象区域进行处理,确定所述目标对象的第一行为姿态,所述第一行为姿态包括所述目标对象的身体姿态、面部表情及手部手势;
根据所述目标对象的第一行为姿态,渲染预设的虚拟形象。
2.根据权利要求1所述的方法,其特征在于,所述对所述目标对象的对象区域进行处理,确定所述目标对象的第一行为姿态,包括:
对所述视频帧中的身体区域进行人体检测,得到所述目标对象的身体部位在第一行为姿态下对应的一组第一关键点信息;
根据所述一组第一关键点信息,确定所述身体部位对应的旋转四元数信息。
3.根据权利要求1所述的方法,其特征在于,所述对所述目标对象的对象区域进行处理,确定所述目标对象的第一行为姿态,包括:
对所述视频帧中的面部区域进行人脸检测,得到所述目标对象面部在第一行为姿态下对应的一组第二关键点信息;
根据所述一组第二关键点信息,确定各表情基对应的表情基系数。
4.根据权利要求1所述的方法,其特征在于,所述对所述目标对象的对象区域进行处理,确定所述目标对象的第一行为姿态,包括:
对所述视频帧中的手部区域进行手势检测,得到所述目标对象手部在第一行为姿态下对应的一组第三关键点信息和/或手势信息;
根据所述手部对应的一组第三关键点信息和/或手势信息,确定所述手部各部位对应的旋转四元数信息。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述根据所述目标对象的第一行为姿态,渲染预设的虚拟形象,包括:
确定所述第一行为姿态下,所述虚拟形象身体各部位设置的碰撞体的位置信息和旋转四元数信息;
在各部位的碰撞体的位置信息不产生重叠的情况下,根据所述第一行为姿态对应的旋转四元数信息,控制所述虚拟形象中的身体部位进行旋转。
6.根据权利要求5所述的方法,其特征在于,所述根据所述目标对象的第一行为姿态,渲染预设的虚拟形象,还包括:
在各部位的碰撞体的位置信息产生重叠的情况下,对产生重叠的部位的位置信息和/或旋转四元数信息进行调整,得到调整后的旋转四元数信息;
根据所述调整后的旋转四元数信息控制所述虚拟形象中的身体部位进行旋转,以使得各部位的碰撞体的位置信息不重叠。
7.根据权利要求1至6中任一项所述的方法,其特征在于,所述对采集到的视频流中的视频帧进行检测,确定视频帧中目标对象的对象区域,包括以下方法中至少一种:
对采集到的视频流的视频帧进行人体检测,确定视频帧中目标对象的面部对应的第一关键点及手部对应的第二关键点;
根据面部对应的面部区域大小及所述第一关键点确定面部区域;
根据手部对应的手部区域大小及所述第二关键点确定手部区域。
8.一种虚拟形象渲染装置,其特征在于,包括:
检测模块,用于对采集到的视频流中的视频帧进行检测,确定所述视频帧中目标对象的对象区域,所述对象区域包括身体区域、面部区域及手部区域;
处理模块,用于对所述目标对象的对象区域进行处理,确定所述目标对象的第一行为姿态,所述第一行为姿态包括所述目标对象的身体姿态、面部表情及手部手势;
渲染模块,用于根据所述目标对象的第一行为姿态,渲染预设的虚拟形象。
9.一种电子设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为调用所述存储器存储的指令,以执行权利要求1至7中任意一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至7中任意一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市商汤科技有限公司,未经深圳市商汤科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911203909.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种视频指纹方法
- 下一篇:一种快速装配式钢筋混凝土墙结构