[发明专利]三维人体姿态预测方法、装置、介质及设备

权利要求书

1.一种三维人体姿态预测方法，其特征在于，包括：

获取待处理图像中的人体关键点信息以及人体关键点的深度前后关系；所述人体关键点的深度前后关系由用于对人体关键点进行深度前后关系处理的第二神经网络预测得到；

将所述人体关键点信息和人体关键点的深度前后关系提供给第一神经网络，经由所述第一神经网络执行三维人体姿态预测处理，以获取三维人体姿态预测结果；

其中，所述执行三维人体姿态预测处理包括：

根据人体关键点的深度前后关系信息预测人体关键点深度值；

根据人体关键点深度值和人体关键点信息预测三维人体姿态；

其中，所述人体关键点的深度前后关系用于表示人体关键点之间的深度位置相对关系,所述人体关键点的深度前后关系包括：多个人体关键点中任意两个人体关键点中用于表征其中一个人体关键点位于其中另一个人体关键点之前或之后的信息。

2.根据权利要求1所述的方法，其特征在于，所述人体关键点信息包括：人体关键点在待处理图像中的二维坐标。

3.根据权利要求1或2所述的方法，其特征在于，所述人体关键点的深度前后关系包括：

人体关键点的深度前后关系矩阵；

其中，所述矩阵的行数和列数为人体关键点的数量，所述矩阵的第n行表示第n个人体关键点，所述矩阵的第m列表示第m个人体关键点，所述矩阵第n行第m列的数值表示第n个人体关键点在第m个人体关键点之前或之后的概率值。

4.根据权利要求1或2所述的方法，其特征在于，所述人体关键点的深度前后关系的获取过程包括：

将所述待处理图像提供给第二神经网络，经由所述第二神经网络执行人体关键点的深度前后关系预测处理，以获取人体关键点的深度前后关系。

5.根据权利要求1或2所述的方法，其特征在于，所述三维人体姿态预测结果包括：人体关键点在三维空间中的坐标。

6.根据权利要求1或2所述的方法，其特征在于，所述第一神经网络是利用多条包含有人体关键点样本信息以及人体关键点的深度前后关系样本信息的数据样本训练而成的。

7.一种神经网络的训练方法，其特征在于，用于训练神经网络的数据样本包括：人体关键点样本信息、人体关键点的深度前后关系样本信息以及用于监督的标注信息，所述人体关键点的深度前后关系样本信息由用于对人体关键点进行深度前后关系处理的第二神经网络预测得到，所述人体关键点的深度前后关系样本信息用于表示人体关键点之间的深度位置相对关系,所述人体关键点的深度前后关系样本信息包括：多个人体关键点中任意两个人体关键点中用于表征其中一个人体关键点位于其中另一个人体关键点之前或之后的信息，所述训练方法包括：

将数据样本中的人体关键点样本信息以及人体关键点的深度前后关系样本信息，提供给待训练的第一神经网络，经由所述待训练的第一神经网络执行三维人体姿态预测处理；

所述将数据样本中的人体关键点样本信息以及人体关键点的深度前后关系样本信息，提供给待训练的第一神经网络，经由所述待训练的第一神经网络执行三维人体姿态预测处理包括：

将数据样本中的人体关键点的深度前后关系样本信息提供给待训练的第一神经网络中的第一神经网络单元，经由所述第一神经网络单元执行人体关键点深度预测处理后，经由第一神经网络中的第二神经网络单元执行三维人体姿态预测处理；

利用所述数据样本中的标注信息对所述待训练的第一神经网络进行监督学习。

8.根据权利要求7所述的方法，其特征在于，所述经由所述第一神经网络单元执行人体关键点深度预测处理后，经由第一神经网络中的第二神经网络单元执行三维人体姿态预测处理包括：

将第一神经网络单元输出的人体关键点深度值与数据样本中的人体关键点在待处理图像中的二维坐标样本信息，作为人体关键点张量，提供给待训练的第一神经网络中的第二神经网络单元，经由所述第二神经网络单元执行三维人体姿态预测处理。