[发明专利]3D人体姿态估计方法、装置、电子设备与存储介质

权利要求书

1.一种3D人体姿态估计方法，其特征在于，包括：

对人体图像序列进行2D姿态估计，得到2D人体关键点序列；

基于所述2D人体关键点序列，确定2D肢干向量序列；

将所述2D人体关键点序列和所述2D肢干向量序列输入至3D姿态估计模型，得到所述3D姿态估计模型输出的3D人体关键点；其中，所述3D姿态估计模型是基于样本2D人体关键点序列，样本2D肢干向量序列以及对应的样本3D人体关键点训练得到的；

所述3D姿态估计模型包括关键点网络分支、肢干网络分支和3D姿态估计层；

所述将所述2D人体关键点序列和所述2D肢干向量序列输入至3D姿态估计模型，得到所述3D姿态估计模型输出的3D人体关键点，包括：

将所述2D人体关键点序列输入至所述关键点网络分支，得到所述关键点网络分支输出的关键点表示序列；

将所述2D肢干向量序列输入至所述肢干网络分支，得到所述肢干网络分支输出的肢干表示序列；

将所述关键点表示序列和所述肢干表示序列输入至3D姿态估计层，得到所述3D人体关键点；

所述关键点网络分支包括差分层、编码层和关键点变换层；

所述将所述2D人体关键点序列输入至所述关键点网络分支，得到所述关键点网络分支输出的关键点表示序列，包括：

将所述2D人体关键点序列输入至所述差分层，得到所述差分层输出的运动向量序列；

将所述2D人体关键点序列和所述运动向量序列分别输入至所述编码层，得到所述编码层输出的初始关键点表示序列和运动表示序列；

将所述初始关键点表示序列和所述运动表示序列输入至所述关键点变换层，得到所述关键点表示序列；

所述3D姿态估计层包括融合变换层、特征分离层和关键点回归层；

所述将所述关键点表示序列和所述肢干表示序列输入至3D姿态估计层，得到所述3D人体关键点，包括：

将所述关键点表示序列和所述肢干表示序列输入至所述融合变换层，得到所述融合变换层输出的最终特征表示；

将所述最终特征表示输入至所述特征分离层，得到所述特征分离层输出的关键点特征和肢干特征；

将所述关键点特征输入至所述关键点回归层，得到所述关键点回归层输出的3D人体关键点；

所述肢干网络分支包括肢干差分层、肢干编码层和肢干变换层；

所述将所述2D肢干向量序列输入至所述肢干网络分支，得到所述肢干网络分支输出的肢干表示序列，包括：

将所述2D肢干向量序列输入至所述肢干差分层，得到所述肢干差分层输出的肢干对应的运动向量序列；

将所述2D肢干向量序列和所述肢干对应的运动向量序列分别输入至所述肢干编码层，得到所述肢干编码层输出的初始肢干表示序列和肢干对应的运动表示序列；

将所述初始肢干表示序列和所述肢干对应的运动表示序列输入至所述肢干变换层，得到所述肢干表示序列。

2.根据权利要求1所述的3D人体姿态估计方法，其特征在于，所述3D姿态估计层还包括肢干回归层；

所述将所述最终特征表示输入至所述特征分离层，得到所述特征分离层输出的关键点特征和肢干特征，之后还包括：

将所述肢干特征输入至所述肢干回归层，得到所述肢干回归层输出的3D人体肢干。

3.根据权利要求1或2所述的3D人体姿态估计方法，其特征在于，所述3D姿态估计模型的损失函数包括循环一致性损失函数；

所述循环一致性损失函数是基于第一预测3D人体肢干与第二预测3D人体肢干之间的一致性确定的；

其中，所述第一预测3D人体肢干和预测3D人体关键点是所述3D姿态估计模型基于所述样本2D人体关键点序列和所述样本2D肢干向量序列确定的，所述第二预测3D人体肢干是基于所述预测3D人体关键点确定的。

4.根据权利要求3所述的3D人体姿态估计方法，其特征在于，所述第二预测3D人体肢干是基于如下步骤确定的：

基于所述预测3D人体关键点，确定各肢干类型对应的预测人体关键点；

基于所述各肢干类型对应的预测人体关键点，确定所述各肢干类型对应的预测肢干向量；

基于所述各肢干类型对应的预测肢干向量，确定所述第二预测3D人体肢干。