[发明专利]模型训练、动作映射方法、装置、电子设备及存储介质

权利要求书

1.一种模型训练方法，其特征在于，包括：

获取已与数字人面部进行面部绑定的样本面部数据；

通过所述样本面部数据驱动所述数字人面部进行样本动作，并对正在进行所述样本动作的所述数字人面部进行采集，得到样本视频；

将所述样本视频输入到动作捕捉模型中，得到样本动作数据；

基于作为实际输入数据的所述样本动作数据，以及，作为期望输出数据的所述样本面部数据，对原始映射模型进行训练，得到目标映射模型。

2.根据权利要求1所述的方法，其特征在于，在所述得到样本动作数据之后，所述方法还包括：

对所述样本动作数据进行位置编码，得到位置特征，并对各所述位置特征进行组合排列，得到样本图像；

将所述样本动作数据放置在所述样本图像中，并将放置后得到的所述样本图像作为所述样本动作数据。

3.根据权利要求2所述的方法，其特征在于，用于进行回归的所述原始映射模型中包括卷积神经网络；

基于作为实际输入数据的所述样本动作数据，以及，作为期望输出数据的所述样本面部数据，对原始映射模型进行训练，得到目标映射模型，包括：

将作为实际输入数据的所述样本动作数据输入到所述卷积神经网络中，以通过所述卷积神经网络对所述样本动作数据进行特征提取，并且根据特征提取结果回归出与所述样本面部数据对应的回归面部数据；

将作为期望输出数据的所述样本面部数据，以及作为实际输出数据的所述回归面部数据进行对比，并根据对比结果调整所述原始映射模型中的网络参数，以训练得到目标映射模型。

4.根据权利要求1所述的方法，其特征在于，所述样本面部数据的数量是多帧，在所述获取已与数字人面部进行面部绑定的样本面部数据之后，还包括：

针对多帧所述样本面部数据组成的多个视频片段中的每个所述视频片段，为所述视频片段中的首帧所述样本面部数据设置目标声音信号；

在所述得到样本视频之后，所述方法还包括：

对所述样本视频中的声音分量进行侦测，得到所述样本视频中包含有所述目标声音信号的样本视频帧，并确定所述包含有所述目标声音信号的样本视频帧在所述样本视频中的视频帧位置；

结合各所述样本动作数据在所述样本视频中分别对应的样本视频帧，从各所述样本动作数据中确定与所述视频帧位置对应的位置动作数据；

根据各所述位置动作数据及每个所述视频片段的片段时长，对各所述样本动作数据中存在裁剪需求的所述样本动作数据进行裁剪，并基于裁剪后保留下来的所述样本动作数据对捕捉到的所述样本动作数据进行更新。

5.根据权利要求4所述的方法，其特征在于，在所述结合各所述样本动作数据在所述样本视频中分别对应的样本视频帧之前，还包括：

对各所述样本动作数据进行重采样，并基于重采样结果对捕捉到的所述样本动作数据进行更新。

6.根据权利要求1所述的方法，其特征在于，所述获取已与数字人面部进行面部绑定的样本面部数据，包括：

获取面部数据集合，其中，所述面部数据集合中包括多个候选面部数据，每个所述候选面部数据均已与数字人面部进行面部绑定；

从所述面部数据集合中选取至少两个所述候选面部数据；

基于选取的各所述候选面部数据进行插值，并将插值得到的插值面部数据以及选取的每个所述候选面部数据，均作为已与所述数字人面部进行面部绑定的样本面部数据。

7.一种动作映射方法，其特征在于，包括：

在目标人面部进行目标动作的情况下，获取对所述目标人面部进行采集后得到的目标视频，并将所述目标视频输入到动作捕捉模型，得到目标动作数据；

获取按照权利要求1-6中任一项的模型训练方法训练得到的目标映射模型；

将所述目标动作数据输入至所述目标映射模型，并根据所述目标映射模型的输出结果，映射得到可在数字人面部上进行面部绑定的目标面部数据；

其中，所述数字人面部和所述动作捕捉模型，与所述目标映射模型关联。