[发明专利]基于单帧图像的3D人体姿态估计模型建立方法及其应用

权利要求书

1.一种基于单帧图像的3D人体姿态估计模型建立方法，其特征在于，包括：

获得已训练好的2D人体姿态估计网络，用于根据RGB图像预测2D人体姿态；所述2D人体姿态包括构成人体骨架的n个关节点的2D坐标；

建立反投影网络，包括关节点分组模块、m个估计分支以及一个关节点拼接模块；所述关节点分组模块用于将2D人体姿态中的n个关节点划分为m个关节点组，每个关节点组中的关节点具有相同的运动约束；所述m个估计分支分别以所述m个关节点组为输入，用于估计对应关节点组中各关节点的3D坐标；所述关节点拼接模块用于拼接m个关节点组对应的关节点3D坐标，得到3D人体姿态的估计结果；

利用所述2D人体姿态估计网络估计训练数据集中各RGB图像对应的2D人体姿态，以各RGB图像对应的2D人体姿态估计结果为输入，以各RGB图像对应的实际的3D人体姿态为标签，对所述反投影网络进行训练；所述训练数据集包括多张已标注3D人体姿态的RGB图像；

串联已训练好的2D人体姿态估计网络和已训练好的反投影网络，得到基于单帧图像的3D人体姿态估计模型；

所述运动约束包括运动自由度和估计误差分布；

n＝17，且构成人体骨架的17个关节点分别为：髋关节点P₀、右髋关节点P₁、右膝关节点P₂、右脚关节点P₃、左髋关节点P₄、左膝关节点P₅、左脚关节点P₆、躯干中部关节点P₇、胸部关节点P₈、颈部关节点P₉、头部关节点P₁₀、左肩关节点P₁₁、左手肘关节点P₁₂、左手关节点P₁₃、右肩关节点P₁₄、右手肘关节点P₁₅和右手关节点P₁₆；

m＝4，划分得到的4个关节点组依次记为G₀、G₁、G₂和G₃，则各关节点组所包含的关节点具体为：G₀＝[P₀,P₇,P₈]、G₁＝[P₁,P₄,P₉,P₁₀,P₁₁,P₁₄]、G₂＝[P₂,P₅,P₁₂,P₁₅]、G₃＝[P₃,P₆,P₁₃,P₁₆]；

对所述反投影网络进行训练时，损失函数为：

L＝αL₁+βL₂；

其中，L₁表示各关节点3D坐标的估计值与真实值之间的误差均值，L₂表示预设的k对关节点间距离的估计值与实际值之间的误差均值；α和β为超参数，用于在计算损失函数时将两类误差在数量级上进行统一；

k＝4，且预设的4对关节点分别是：(左肩关节点，左手关节点)，(右肩关节点，右手关节点)，(左髋关节点，左脚关节点)，(右髋关节点，右脚关节点)。

2.如权利要求1所述的基于单帧图像的3D人体姿态估计模型建立方法，其特征在于，所述反投影网络中的估计分支为基线网络。

3.如权利要求1所述的基于单帧图像的3D人体姿态估计模型建立方法，其特征在于，所述2D人体姿态估计网络为HRNet-W32。