[发明专利]生成3D关节点回归模型的方法和装置

权利要求书

1.一种生成3D关节点回归模型的方法，所述方法包括：

获取附有2D标签的样本图像和附有3D标签的样本图像；

将所述附有2D标签的样本图像作为第一输入，将与2D标签对应的关节点热力图集合作为第一期望输出，训练基础3D关节点回归模型的输出层中的部分通道；

将所述附有3D标签的样本图像作为第二输入，将与3D标签对应的关节点热力图集合作为第二期望输出的第一部分输出、与3D标签对应的关节点深度信息图集合作为第二期望输出的第二部分输出，并将与附有3D标签的样本图像对应的几何约束损失函数的加权值作为对应所述第二期望输出的第一部分输出的损失函数，将与附有3D标签的样本图像对应的欧式距离损失函数的加权值作为对应所述第二期望输出的第二部分输出的损失函数，训练所述基础3D关节点回归模型的输出层中的所有通道。

2.根据权利要求1所述的方法，其中，所述将所述附有2D标签的样本图像作为第一输入，将与2D标签对应的关节点热力图集合作为第一期望输出，训练基础3D关节点回归模型的输出层中的部分通道包括：

将所述附有2D标签的样本图像作为第一输入，将与2D标签对应的关节点热力图集合作为第一期望输出，将与附有2D标签的样本图像对应的几何约束损失函数作为对应所述第一期望输出的损失函数，训练基础3D关节点回归模型的输出层中的部分通道。

3.根据权利要求1或2所述的方法，其中，所述几何约束损失函数包括：各个预测骨骼的长度比例与样本图像集骨骼的长度比例的平均值之间的欧式距离；其中，预测骨骼为所述基础3D关节点回归模型输出的关节点热力图集合中的骨骼；

各个预测骨骼的长度比例为：单次训练所选取的样本图像集中的各张样本图像所对应的各个预测骨骼的长度与基准数据集中的骨骼的长度的比例；

样本图像集骨骼的长度比例为：单次训练所选取的样本图像集中的所有样本图像所对应的所有的预测骨骼的长度与基准数据集中的骨骼的长度的比例。

4.根据权利要求1所述的方法，其中，所述与附有3D标签的样本图像对应的欧式距离损失函数包括：

在将所述附有3D标签的样本图像作为第二输入时，所述基础3D关节点回归模型输出的关节点深度信息图集合中的深度信息与所述3D标签中标注的关节点深度信息的欧式距离。

5.根据权利要求1所述的方法，其中，所述基础3D关节点回归模型包括以下任意一项：初始3D关节点回归模型；或

采用附有2D标签的样本图像训练初始3D关节点回归模型所得到的预训练的3D关节点回归模型。

6.根据权利要求5所述的方法，其中，所述预训练的3D关节点回归模型经由以下步骤确定：

将附有2D标签的样本图像作为输入、将所述2D标签作为期望输出、将基于关节点回归模型输出的关节点热力图集合所确定的关节点坐标与2D标签中的2D关节点坐标之间的欧式距离作为损失函数，训练所述初始3D关节点回归模型得到。

7.一种生成3D关节点坐标的方法，包括：

获取包含人物的图像；

将所述图像输入已训练的3D关节点回归模型，得到所述已训练的3D关节点回归模型输出的关节点热力图集合和关节点深度信息图集合；其中，所述已训练的3D关节点回归模型采用如权利要求1-6中任意一项所述的生成3D关节点回归模型的方法训练基础3D关节点回归模型得到；

基于所述关节点热力图集合和关节点深度信息图集合，确定所述人物的3D关节点坐标。

8.根据权利要求7所述的方法，其中，所述方法还包括：

基于所述人物的3D关节点坐标，确定人体的动作参数；

基于所述人体的动作参数，生成提示所述人物的动作的提示信息。