[发明专利]3D人体姿态估计方法、装置、电子设备与存储介质

说明书

本发明提供一种3D人体姿态估计方法、装置、电子设备与存储介质，所述方法包括：对人体图像序列进行2D姿态估计，得到2D人体关键点序列；基于2D人体关键点序列，确定2D肢干向量序列；将2D人体关键点序列和2D肢干向量序列输入至3D姿态估计模型，得到3D姿态估计模型输出的3D人体关键点；其中，3D姿态估计模型是基于样本2D人体关键点序列，样本2D肢干向量序列以及对应的样本3D人体关键点训练得到的。本发明提供的方法、装置、电子设备与存储介质，应用3D姿态估计模型结合2D人体关键点序列和2D肢干向量序列进行3D人体姿态估计，实现了3D人体姿态的精确估计，同时提升了3D人体姿态估计的鲁棒性和泛化性。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种3D人体姿态估计方法、装置、电子设备与存储介质。

背景技术

3D（Three Dimensions，三维）人体姿态估计技术是计算机视觉和模式识别领域中的一个重要研究方向，它需要预测给定人体图像的3D人体关键点坐标。然而3D人体姿态估计存在诸多问题，3D人体姿态估计数据的获得通常具有局限性，大部分场景为室内，且动作范式有限，限制了3D人体姿态数据的多样性。近年来，随着深度学习的发展，3D人体姿态估计取得了长足的进步。

目前，单目3D人体姿态估计主要分为单阶段预测和双阶段预测两种方式。单阶段的方法以人体图像作为输入，通过卷积神经网络提取特征进而实现3D人体关键点的预测。双阶段的方法以人体图像作为输入，首先通过2D（Two Dimensions，二维）人体姿态估计网络提取2D人体关键点，之后通过2D-3D关键点的映射，获得3D人体关键点。然而，现有的3D人体姿态估计方法大多只关注不同帧人体关键点之间的语义关联，导致3D人体姿态估计的精度较差。

发明内容

本发明提供一种3D人体姿态估计方法、装置、电子设备与存储介质，用以解决现有技术中3D人体姿态估计精度差的缺陷，实现提升3D人体姿态估计的精度。

本发明提供一种3D人体姿态估计方法，包括：

对人体图像序列进行2D姿态估计，得到2D人体关键点序列；

基于所述2D人体关键点序列，确定2D肢干向量序列；

将所述2D人体关键点序列和所述2D肢干向量序列输入至3D姿态估计模型，得到所述3D姿态估计模型输出的3D人体关键点；其中，所述3D姿态估计模型是基于样本2D人体关键点序列，样本2D肢干向量序列以及对应的样本3D人体关键点训练得到的。

根据本发明提供的一种3D人体姿态估计方法，所述3D姿态估计模型包括关键点网络分支、肢干网络分支和3D姿态估计层；

所述将所述2D人体关键点序列和所述2D肢干向量序列输入至3D姿态估计模型，得到所述3D姿态估计模型输出的3D人体关键点，包括：

将所述2D人体关键点序列输入至所述关键点网络分支，得到所述关键点网络分支输出的关键点表示序列；

将所述2D肢干向量序列输入至所述肢干网络分支，得到所述肢干网络分支输出的肢干表示序列；

将所述关键点表示序列和所述肢干表示序列输入至3D姿态估计层，得到所述3D人体关键点。

根据本发明提供的一种3D人体姿态估计方法，所述关键点网络分支包括差分层、编码层和关键点变换层；

所述将所述2D人体关键点序列输入至所述关键点网络分支，得到所述关键点网络分支输出的关键点表示序列，包括：

将所述2D人体关键点序列输入至所述差分层，得到所述差分层输出的运动向量序列；

将所述2D人体关键点序列和所述运动向量序列分别输入至所述编码层，得到所述编码层输出的初始关键点表示序列和运动表示序列；