[发明专利]三维模型驱动方法、装置、电子设备及存储介质

说明书

本公开公开了一种三维模型驱动方法、装置、电子设备及存储介质，该方法包括：获取用户视频流；根据视频帧中的用户图像估算二维姿态信息；根据二维关节点的置信度对多个二维关节点序列进行平滑处理；将平滑处理后的二维关节点序列输入至三维姿态模型，得到三维关节点序列；将三维关节点序列发送至终端，以便终端根据所述三维关节点序列驱动三维模型，使三维模型随用户做匹配的运动。本公开实施例提供的三维模型驱动方法，能够基于置信度对二维关节点序列进行平滑处理，提高三维模型动作流畅度，实现将主播动作形成三维模型，并将主播的动作流畅的迁移到三维模型的方案，优化增强现实效果，提高三维模型驱动效率。

技术领域

本公开实施例涉及虚拟现实技术，尤其涉及一种三维模型驱动方法、装置、电子设备及存储介质。

背景技术

随着增强现实(Augmented Reality，AR)技术的发展，虚拟影像与真实影像的结合得到广泛应用。在直播应用场景中，存在主播图像与增强现实道具结合的应用。例如在主播任务图像上附着增强现实眼镜等。目前缺少一种能够将主播动作形成三维模型，并将主播的动作流畅的迁移到三维模型的方案，增强现实效果较差，三维模型驱动效率低。

发明内容

本公开提供一种三维模型驱动方法、装置、电子设备及存储介质，以实现提高三维模型驱动效率。

第一方面，本公开实施例提供了一种三维模型驱动方法，包括：

获取用户视频流，用户视频流包括多个视频帧，用户视频流包含有用户的运动画面；

根据视频帧中的用户图像估算二维姿态信息，二维姿态信息包括由多个二维关节点组成的二维关节点序列；

根据二维关节点的置信度对多个二维关节点序列进行平滑处理；

将平滑处理后的二维关节点序列输入至三维姿态模型，得到三维关节点序列；

将三维关节点序列发送至终端，以便终端根据三维关节点序列驱动三维模型，使三维模型随用户做匹配的运动。

第二方面，本公开实施例还提供了一种三维模型驱动方法，应用于终端，包括：

响应于观众用户选择的增强现实AR模型添加指令，通过终端的摄像头获取图像帧；

在图像帧中加载三维模型；

根据服务器发送的三维关节点序列驱动三维模型。

第三方面，本公开实施例还提供了一种三维模型驱动装置，包括：

视频流获取模块，用于获取用户视频流，用户视频流包括多个视频帧，用户视频流包含有用户的运动画面；

二维姿态估算模块，用于根据视频帧中的用户图像估算二维姿态信息，二维姿态信息包括由多个二维关节点组成的二维关节点序列；

平滑处理模块，用于根据二维关节点的置信度对多个二维关节点序列进行平滑处理；

三维姿态估算模块，用于将平滑处理后的二维关节点序列输入至三维姿态模型，得到三维关节点序列；

模型驱动模块，用于将三维关节点序列发送至终端，以便终端根据三维关节点序列驱动三维模型，使三维模型随用户做匹配的运动。

第四方面，本公开实施例还提供了一种三维模型驱动装置，应用于终端，包括：

图像帧获取模块，用于响应于观众用户选择的增强现实AR模型添加指令，通过终端的摄像头获取图像帧；

三维模型加载模块，用于在图像帧中加载三维模型；

三维模型驱动模块，用于根据服务器发送的三维关节点序列驱动三维模型。