[发明专利]三维模型驱动方法、装置、电子设备及存储介质

权利要求书

1.一种三维模型驱动方法，其特征在于，应用于终端，包括：

响应于观众用户选择的增强现实AR模型添加指令，通过所述终端的摄像头获取图像帧；

在所述图像帧中加载三维模型；

根据服务器发送的三维关节点序列驱动所述三维模型。

2.根据权利要求1所述的方法，其特征在于，在通过所述终端的摄像头获取图像帧之后，还包括：

获取用户选择的显示屏AR模型；

根据显示屏AR模型显示AR界面；

在显示屏AR模型中预设区域显示拉流得到的主播视频流。

3.根据权利要求2所述的方法，其特征在于，所述获取用户选择的显示屏AR模型，包括：

响应于用户触发的AR显示指令，启动摄像头，在屏幕中输出摄像头获取的图像；

在所述图像上层覆盖蒙板，所述蒙板包括供所述观众用户选择的多个预设显示屏AR模型；

响应于用户在多个显示屏AR模型中选择操作，确定用户选择的显示屏AR模型。

4.一种三维模型驱动方法，其特征在于，应用于服务器，包括：

获取用户视频流，所述用户视频流包括多个视频帧，所述用户视频流包含有用户的运动画面；

根据所述视频帧中的用户图像估算二维姿态信息，所述二维姿态信息包括由多个二维关节点组成的二维关节点序列；

根据所述二维关节点的置信度对多个二维关节点序列进行平滑处理；

将平滑处理后的二维关节点序列输入至三维姿态模型，得到三维关节点序列；

将所述三维关节点序列发送至终端，以便所述终端根据所述三维关节点序列驱动三维模型，使所述三维模型随所述用户做匹配的运动。

5.根据权利要求4所述的方法，其特征在于，所述获取用户视频流，包括：

根据三维动画的帧率调整所述用户视频流的帧率，使所述用户视频流的帧率与所述三维动画的帧率一致。

6.根据权利要求4所述的方法，其特征在于，根据所述视频帧中的用户图像估算二维姿态信息，包括：

获取所述视频帧中用户对象数量；

根据所述用户对象数量对所述视频帧进行分割，得到用户图像；

根据所述用户图像估算二维姿态信息。

7.根据权利要求6所述的方法，其特征在于，所述根据所述用户对象数量对所述视频帧进行分割，得到用户图像，包括：

根据所述用户对象数量对所述视频帧进行分割，得到多个备选用户图像；

判断所述多个备选用户图像的相似度；

如果相似度大于预设相似度阈值，则将相似度较高的多个备选用户图像中的任意一个备选用户图像作为用户图像。

8.根据权利要求6或7所述的方法，其特征在于，根据所述用户图像估算二维姿态信息，包括：

将所述用户图像输入至二维姿态估算模型；

获取所述二维姿态估算模型输出的二维姿态信息。

9.根据权利要求8所述的方法，其特征在于，在将所述用户图像输入至二维姿态估算模型之前，还包括：

所述二维姿态估算模型的第一训练阶段，使用L2损失函数进行训练，训练至L2损失值收敛，第一训练阶段得到的第一阶段训练模型用于回归出关节点的热图；

所述二维姿态估算模型的第二训练阶段，根据热图节点的平方误差和关节节点的可见误差确定目标损失函数；使用所述目标损失函数训练所述第一阶段训练模型，得到二维姿态估算模型。

10.根据权利要求9所述的方法，其特征在于，所述二维姿态估算模型为高分辨率网络二维姿态估计模型；

将所述高分辨率网络二维姿态估计模型中的提特征的卷积单元替换为轻量化网络MobileNet V2具备跳层的深度可分离卷积。