[发明专利]虚拟人物模型控制方法、装置及电子设备

说明书

本申请实施例提供的虚拟人物模型控制方法、装置及电子设备，通过针对不同肢体部分提取不同的第一关键点数据集，并使用不同的第一预测模型进行处理以获得与不同肢体部分对应的第一关键点三维位姿数据，然后综合各组第一关键点三维位姿数据一起控制同一虚拟人物模型执行相应的动作。如此，在预测模型的训练样本较少的情况下也可以实现不同肢体对应的第一关键点三维位姿数据之间的解耦合，从而在使用各组第一关键点三维位姿数据一起控制同一虚拟人物模型时避免虚拟人物模型出现错误的肢体联动。

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种虚拟人物模型控制方法、装置及电子设备。

背景技术

在一些图像处理场景中，可以对人物的二维视频图像进行关键点识别和预测，从而获得人物的肢体关键点的三维位姿数据(如空间位置坐标和姿态角)进行建模或模型控制。例如，在一些直播场景中，可以对从主播终端获取到的二维直播视频图像进行人体肢体关键点位置识别，然后根据肢体关键点在二维图像中的坐标位置数据进行三维位姿数据预测，获得肢体关键点的三维位姿数据，最后根据三维位姿数据驱动对应的虚拟人物模型模仿主播的动作。其中，根据关键点二维坐标数据预测获得三维位姿数据的动作通常是由机器学习模型执行的，但是由于机器学习模型的训练样本数量或者训练样本数据多样性的限制，可能导致在预测结果中相对独立的肢体对应的三维位姿数据耦合性过高，使得后续建模或模型控制过程产生错误的肢体联动，影响建模或模型控制效果。

发明内容

为了克服现有技术中的上述不足，本申请的目的在于提供一种虚拟人物模型控制方法，所述方法包括：

从二维图像中获取目标人物的关键点二维坐标数据；

针对人体四肢中的至少两个肢体部分，分别从所述关键点二维坐标数据中提取对应的至少两组第一关键点数据集；

将所述至少两组第一关键点数据集分别输入至少两个不同的第一预测模型进行处理，获得分别与所述至少两个肢体部分对应的第一关键点三维位姿数据；

根据获得的各组所述第一关键点三维位姿数据控制同一虚拟人物模型执行相应的动作。

在一种可能的实现方式中，所述针对人体四肢中的至少两个肢体部分，分别从所述关键点二维坐标数据中提取对应的至少两组第一关键点数据集的步骤，包括：

针对所述至少两个肢体部分的每个肢体部分，从所述关键点二维坐标数据中提取包括与该肢体部分对应的关键点二维坐标数据及与躯干部分对应的关键点二维坐标数据作为该肢体部分的第一关键点数据集。

在一种可能的实现方式中，所述第一关键点三维位姿数据包括对应的肢体部分中预设关节点的空间位置数据及姿态角度数据。

在一种可能的实现方式中，所述方法还包括：

将目标人物的关键点二维坐标数据整体作为第二关键点数据集；

将所述第二关键点数据集输入第二预测模型进行处理，获得整体三维位姿数据，其中，所述整体三维位姿数据包括与所述至少两个肢体部分对应的第三关键点三维位姿数据及与躯干部分对应的第二关键点三维位姿数据；

所述根据获得的各组所述第一关键点三维位姿数据控制同一虚拟人物模型执行相应的动作的步骤，包括：

使用所述第一关键点三维位姿数据替换所述整体三维位姿数据中的第三关键点三维位姿数据，并使用替换处理后的整体三维位姿数据控制所述虚拟人物模型执行相应的动作。

在一种可能的实现方式中，所述至少两个肢体部分包括左臂和右臂，所述至少两个不同的第一预测模型包括左臂预测模型和右臂预测模型；