[发明专利]模型训练、动作映射方法、装置、电子设备及存储介质

说明书

本发明实施例公开了一种模型训练、动作映射方法、装置、电子设备及存储介质。该模型训练方法包括：获取已与数字人面部进行面部绑定的样本面部数据；通过所述样本面部数据驱动所述数字人面部进行样本动作，并对正在进行所述样本动作的所述数字人面部进行采集，得到样本视频；将所述样本视频输入到动作捕捉模型中，得到样本动作数据；基于作为实际输入数据的所述样本动作数据，以及，作为期望输出数据的所述样本面部数据，对原始映射模型进行训练，得到目标映射模型。本发明实施例的技术方案，可以降低面部绑定成本和工作量。

技术领域

本发明实施例涉及数字人领域，尤其涉及一种模型训练、动作映射方法、装置、电子设备及存储介质。

背景技术

在数字人领域中，面部绑定可以用于设定数字人面部上的各个不同部位的动作能力。具体的，通过动作捕捉模型对真实人面部的动作视频进行处理，以从动作视频中捕捉到动作数据，然后将这些动作数据人工绑定到数字人面部上，以让数字人面部进行与真实人面部同样的动作。

需要说明的是，由于不同的动作捕捉模型在动作捕捉过程中可能存在差异，这意味着针对某动作捕捉模型完成的面部绑定不一定适用于另一动作捕捉模型。也就是说，在新增动作捕捉模型的情况下，需要针对新增的动作捕捉模型重新进行面部绑定。显然，这会导致面部绑定成本和工作量居高不下。

发明内容

本发明实施例提供了一种模型训练、动作映射方法、装置、电子设备及存储介质，解决了面部绑定成本和工作量居高不下的问题。

根据本发明的一方面，提供了一种模型训练方法，可以包括：

获取已与数字人面部进行面部绑定的样本面部数据；

通过样本面部数据驱动数字人面部进行样本动作，并对正在进行样本动作的数字人面部进行采集，得到样本视频；

将样本视频输入到动作捕捉模型中，得到样本动作数据；

基于作为实际输入数据的样本动作数据，以及，作为期望输出数据的样本面部数据，对原始映射模型进行训练，得到目标映射模型。

根据本发明的另一方面，提供了一种动作映射方法，可以包括：

在目标人面部进行目标动作的情况下，获取对目标人面部进行采集后得到的目标视频，并将目标视频输入到动作捕捉模型，得到目标动作数据；

获取按照本发明任意实施例所提供的模型训练方法训练得到的目标映射模型；

将目标动作数据输入至目标映射模型，并根据目标映射模型的输出结果，映射得到可在数字人面部上进行面部绑定的目标面部数据；

其中，数字人面部和动作捕捉模型，与目标映射模型关联。

根据本发明的另一方面，提供了一种模型训练装置，可以包括：

样本面部数据获取模块，用于获取已与数字人面部进行面部绑定的样本面部数据；

样本视频得到模块，用于通过样本面部数据驱动数字人面部进行样本动作，并对正在进行样本动作的数字人面部进行采集，得到样本视频；

样本动作数据得到模块，用于将样本视频输入到动作捕捉模型中，得到样本动作数据；

目标映射模型得到模块，用于基于作为实际输入数据的样本动作数据，以及，作为期望输出数据的样本面部数据，对原始映射模型进行训练，得到目标映射模型。

根据本发明的另一方面，提供了一种动作映射装置，可以包括：

目标动作数据得到模块，用于在目标人面部进行目标动作的情况下，获取对目标人面部进行采集后得到的目标视频，并将目标视频输入到动作捕捉模型，得到目标动作数据；