[发明专利]模型训练方法、动作姿态生成方法、装置、设备及介质

说明书

本发明实施例公开了一种模型训练方法、动作姿态生成方法、装置、设备及介质。本发明涉及生物识别技术领域，该方法包括：训练动作姿态生成模型，获取机器人生成动作姿态所对应的语音信息并进行特征提取及特征融合以生成多个融合特征向量；对每个融合特征向量与机器人初始姿态自回归向量进行特征融合以生成控制输入向量；将随机生成的潜在输入向量及控制输入向量输入动作姿态生成模型以生成机器人姿态动作向量；更新预设初始姿态动作向量集中的机器人姿态动作向量，并将预设初始姿态动作向量集作为目标姿态动作向量集，根据目标姿态动作向量集生成机器人动作姿态。本发明实施例可节约动作姿态生成的成本及提高动作姿态生成的效果。

技术领域

本发明涉及生物识别技术领域，尤其涉及一种模型训练方法、动作姿态生成方法、装置、设备及介质。

背景技术

生物学家在大量的观察和实验基础上发现人们通过对肢体动作的控制会影响着人类传达出的喜怒哀乐等感情，并且每一个表情的细节都在传达具有个人特色的隐含信息，与此同时，每个人的肢体动作与说话人使用的语言和语音特点的个性有极强的关联性和共性。目前，驱动机器人或动画人物模拟人体的动作姿态仍旧有诸多不足，例如，需要使用专业设备采集现有说话人的动作姿态，或者是基于历史存取的肢体动作姿态仓库相互进行生硬拼接，这使得动作姿态的生成不仅成本高，而且生成效果较差。

发明内容

本发明实施例提供了一种模型训练方法、动作姿态生成方法、装置、设备及介质，旨在解决现有肢体动作姿态生成成本高且效果不佳的问题。

第一方面，本发明实施例提供了一种模型训练方法，其包括：

获取训练动作姿态生成模型所需的训练数据集，并对所述训练数据集中的训练数据进行特征提取及第一次特征融合以生成融合特征向量；

提取所述训练数据中预设时间段内的姿态动作向量作为姿态自回归向量，并对所述姿态自回归向量及所述融合特征向量进行第二次特征融合以生成控制输入向量；

提取所述训练数据中预设时刻的所述姿态动作向量作为姿态输入向量，并将所述姿态输入向量及所述控制输入向量输入流模型以得到输出向量，其中，所述预设时刻为所述预设时间段中结束时刻的下一时刻；

基于所述输出向量对所述流模型进行训练以得到所述动作姿态生成模型。

第二方面，本发明实施例提供了一种动作姿态生成方法，其包括：

获取机器人生成动作姿态所对应的语音信息，并对所述语音信息进行特征提取及第一次特征融合以生成多个逐帧对齐的融合特征向量；

对每个所述融合特征向量与机器人初始姿态自回归向量进行第二次特征融合以生成控制输入向量，其中，所述机器人初始姿态自回归向量为从预设初始姿态动作向量集中提取的预设时间段内的机器人姿态动作向量；

随机生成一个呈高斯分布的潜在输入向量并将所述潜在输入向量及所述控制输入向量输入如权利要求1-4任一项所述的动作姿态生成模型以生成当前时间的机器人姿态动作向量；

更新所述预设初始姿态动作向量集中所述当前时间对应的机器人姿态动作向量，并将下一时间作为所述当前时间，返回执行对每个所述融合特征向量与机器人初始姿态自回归向量进行第二次特征融合以生成控制输入向量的步骤，直至所有所述融合特征向量与所述机器人初始姿态自回归向量进行第二次特征融合为止；

将所述预设初始姿态动作向量集作为目标姿态动作向量集，根据所述目标姿态动作向量集生成与所述语音信息相对应的机器人动作姿态。

第三方面，本发明实施例还提供了一种模型训练装置，其包括：

第一特征提取融合单元，用于获取训练动作姿态生成模型所需的训练数据集，并对所述训练数据集中的训练数据进行特征提取及第一次特征融合以生成融合特征向量；