[发明专利]数字人的动作控制方法、装置、电子设备和存储介质在审
| 申请号: | 202310241607.8 | 申请日: | 2023-03-14 |
| 公开(公告)号: | CN116402922A | 公开(公告)日: | 2023-07-07 |
| 发明(设计)人: | 黄伟坤;陈军宏 | 申请(专利权)人: | 厦门黑镜科技有限公司 |
| 主分类号: | G06T13/00 | 分类号: | G06T13/00;G06N3/09;G06N20/00 |
| 代理公司: | 北京睿博行远知识产权代理有限公司 11297 | 代理人: | 董炜琼 |
| 地址: | 361000 福建省厦门市火炬高*** | 国省代码: | 福建;35 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 数字 动作 控制 方法 装置 电子设备 存储 介质 | ||
1.一种数字人的动作控制方法,其特征在于,所述方法包括:
获取用于触发数字人进行交互的动作触发数据,根据所述动作触发数据确定驱动所述数字人的第一参数序列;
若所述第一参数序列中存在第一目标参数,根据所述第一目标参数确定所述数字人中需要运动的目标骨骼关键点,其中,所述第一目标参数与人机交互界面中指定组件的位置相关;
根据所述指定组件的位置和所述目标骨骼关键点的运动范围确定第二目标参数,并在所述第一参数序列中将所述第一目标参数替换为所述第二目标参数,得到第二参数序列;
根据所述第二参数序列驱动所述数字人,以使所述数字人执行与所述动作触发数据对应的交互动作。
2.如权利要求1所述的方法,其特征在于,所述根据所述动作触发数据确定驱动所述数字人的第一参数序列,包括:
将所述动作触发数据输入预设动作生成模型;
根据所述预设动作生成模型输出的结果确定所述第一参数序列。
3.如权利要求2所述的方法,其特征在于,在将所述动作触发数据输入预设动作生成模型之前,所述方法还包括:
将预设动作触发数据输入多个已收敛的动作生成模型,根据各所述动作生成模型输出的结果得到多个第三参数序列;
基于各所述第三参数序列分别驱动多个预设数字人,得到多个数字人动画;
将各所述数字人动画展示在所述人机交互界面,根据多个用户对各所述数字人动画的评价数据确定最佳动作生成模型;
根据所述最佳动作生成模型确定所述预设动作生成模型。
4.如权利要求3所述的方法,其特征在于,所述根据所述最佳动作生成模型确定所述预设动作生成模型,包括:
将与所述最佳动作生成模型对应的预设动作触发数据和第三参数序列加入所述最佳动作生成模型的训练数据集;
基于所述训练数据集中的数据样本重新对所述最佳动作生成模型进行训练,将训练至收敛状态后的动作生成模型作为所述预设动作生成模型。
5.如权利要求1所述的方法,其特征在于,在得到第二参数序列之后,所述方法还包括:
根据与所述第二参数序列对应的各动画帧确定各驱动参数帧;
连续获取各所述驱动参数帧中每两个相邻帧之间的相似度;
若当前两个相邻帧之间的相似度小于预设阈值,将所述当前两个相邻帧作为两个目标帧,并确定包括两个所述目标帧的异常片段;
根据所述异常片段中的帧数量对所述异常片段进行修正。
6.如权利要求5所述的方法,其特征在于,所述根据所述异常片段的帧数量对所述异常片段进行修正,包括:
若所述帧数量不小于预设数量,从预设素材库中获取与所述异常片段匹配的第一目标片段,基于所述第一目标片段替换所述异常片段;
若所述帧数量小于所述预设数量,将分别与所述异常片段前后相邻的两个帧作为参考帧,基于预设插值算法对两个所述参考帧进行插值处理,得到第二目标片段,基于所述第二目标片段替换所述异常片段。
7.如权利要求1所述的方法,其特征在于,所述根据所述指定组件的位置和所述目标骨骼关键点的运动范围确定第二目标参数,包括:
根据所述运动范围确定所述目标骨骼关键点的至少两个极限姿势;
根据所述指定组件的位置和所述目标骨骼关键点的当前位置确定融合系数;
基于所述融合系数对与各所述极限姿势进行融合处理,得到所述第二目标参数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于厦门黑镜科技有限公司,未经厦门黑镜科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310241607.8/1.html,转载请声明来源钻瓜专利网。





