[发明专利]数字人手势生成的方法、装置、设备和存储介质

权利要求书

1.一种数字人手势生成的方法，其特征在于，包括：

获取待生成数字人手势的目标音频文件；

基于脚本生成模型，确定所述目标音频文件对应的动作发生序列；所述动作发生序列用于表示在任意时刻是否存在手势动作；

基于所述动作发生序列以及手势生成模型，控制生成的代表性手势和节奏性手势合成为所述目标音频文件对应的数字人手势；

所述脚本生成模型是基于具有语音信息和动作信息的第一视频文件确定的训练样本训练得到的；所述手势生成模型包括第一手势生成模型和第二手势生成模型，所述第一手势生成模型用于生成代表性手势，所述第二手势生成模型用于生成节奏性手势。

2.根据权利要求1所述的数字人手势生成的方法，其特征在于，所述基于所述动作发生序列以及手势生成模型，控制生成的代表性手势和节奏性手势合成为所述目标音频文件对应的数字人手势，包括：

基于所述第一手势生成模型，生成所述目标音频文件对应的代表性手势；

基于所述第二手势生成模型，生成所述目标音频文件对应的节奏性手势；

基于所述动作发生序列以及预设的合成规则，对所述代表性手势和所述节奏性手势进行融合，得到所述目标音频文件对应的数字人手势；所述预设的合成规则用于限定任意时刻的数字人手势基于所述代表性手势和所述节奏性手势中任一或组合确定。

3.根据权利要求2所述的数字人手势生成的方法，其特征在于，所述脚本生成模型是基于具有语音信息和动作信息的第一视频文件确定的训练样本训练得到的，对应的训练方法包括：

确定初始训练样本中当前元素的前N个元素，以及所述当前元素的后M个元素，作为第一训练样本中的一个元素；所述初始训练样本是用于表征不同时刻所述第一视频文件中是否存在动作发生的训练样本；所述第一视频文件包括语音信息和动作信息；所述M和N为正整数；

基于所述第一训练样本，确定第一损失函数满足收敛的情况下，完成所述脚本生成模型的训练；所述第一损失函数基于所述第一训练样本对应的第一标记和所述第一训练样本输入所述脚本生成模型后输出的预测的结果确定。

4.根据权利要求3所述的数字人手势生成的方法，其特征在于，所述初始训练样本是用于表征不同时刻所述第一视频文件中是否存在动作发生的训练样本，对应的获取方法，包括：

基于第一视频文件，获取第一位置序列信号；所述第一位置序列信号用于表征人体手部骨骼、身体骨骼和面部骨骼所有关键点在不同时刻对应的位置；

确定所述第一位置序列信号所表征的任一手势对应的起始位置；

基于所述第一位置序列中目标元素和所述起始位置之间的距离，以及所述第一位置序列中目标元素的后一个元素与所述起始位置之间的距离，采用第一标记对所述目标元素进行标记，并作为所述初始训练样本；所述目标元素为所述第一位置序列中任一元素；所述第一标记用于表征所述目标元素是否存在动作发生。

5.根据权利要求4所述的数字人手势生成的方法，其特征在于，所述确定所述第一位置序列信号所表征的任一手势对应的起始位置，包括：

按照预设的简化手势关键点，简化所述第一位置序列信号，并统计得到所述简化手势关键点出现的位置直方图；

按照预设的完整手势格式，确定所述直方图中出现最频繁的位置，作为所述第一位置序列信号所表征的任一手势对应的起始位置。

6.根据权利要求4所述的数字人手势生成的方法，其特征在于，所述第一手势生成模型对应的训练方法包括：

基于所述第一标记，提取所述初始训练样本中表征存在动作发生的样本，作为第二训练样本；

对所述第二训练样本进行均匀采样，得到统一长度的第三训练样本；所述第三训练样本中每个样本包括L个均匀采样后的所述第二训练样本；所述L为正整数；

基于所述第三训练样本，确定第二损失函数满足收敛的情况下，完成所述第一手势生成模型的训练，所述第二损失函数基于所述第三训练样本的标记和所述第一手势生成模型重建的手势确定。