[发明专利]基于单帧图像的3D人体姿态估计模型建立方法及其应用

说明书

本发明公开了一种基于单帧图像的3D人体姿态估计模型建立方法及其应用，属于3D人体姿态估计领域，包括：获得已训练好的2D人体姿态估计网络，利用其估计训练数据集中各RGB图像对应的2D人体姿态；建立反投影网络，其中，关节点分组模块用于按照运动约束将n个关节点划分为m个关节点组；m个估计分支分别用于估计m个关节点组中各关节点的3D坐标；关节点拼接模块用于拼接m个关节点组对应的关节点3D坐标，得到3D人体姿态的估计结果；以各RGB图像对应的2D人体姿态估计结果为输入，以对应的3D人体姿态实际值为标签，对反投影网络进行训练；串联两个已训练好的网络，得到基于单帧图像的3D人体姿态估计模型。本发明能够提高3D人体姿态的估计精度。

技术领域

本发明属于3D人体姿态估计领域，更具体地，涉及一种基于单帧图像的3D人体姿态估计模型建立方法及其应用。

背景技术

3D人体姿态估计任务是指通过RGB图像或视频，对于人体关节点的三维坐标进行预测，在行为识别、人机交互、智能监控等场景下，该任务都有重要应用价值。

当前3D人体姿态估计方法，从输入形式进行分类，可以分为基于多视角图像的3D人体姿态估计，基于视频的3D人体姿态估计和基于单帧图像的3D人体姿态估计。基于多视角图像或视频的方法在模型精度和泛化能力上相较以单帧图像作为输入的模型更具优势，但是在实际应用场景下，基于多视角图像的方法存在部署困难，成本较高等问题，而基于视频的方法由于需要结合多帧图像信息导致网络参数量是基于单帧图像网络的数倍，难以满足实时性的要求。相较于基于视频的3D人体姿态估计和基于单帧图像的3D人体姿态估计，基于单帧图像的3D人体姿态估计则具备部署简单，成本低，实时性较好等优势。

早期的基于单帧图像的3D人体姿态估计方法主要为单阶段模式，这类方法直接以RGB图像为输入，从图像中提取人物的纹理、肤色、轮廓等这些不变性特征，回归出人体的三维姿态。这类方法由于容易受到背景、光照等因素的影响，往往精度和泛化能力较差。

为了改善精度和泛化能力，当前基于单帧图像的3D人体姿态估计主要采用两阶段模式，将三维姿态估计问题分解为两步进行：(1)首先利用2D人体姿态估计网络对输入的RGB图像进行2D姿态估计，即根据输入的RGB图像，估计得到人体各关节点的2D坐标；(2)然后以人体2D骨架作为输入通过神经网络预测人体的3D姿态，即根据人体各关节点的2D坐标估计人体各关节点的3D坐标。在第一阶段中，首先采用卷积神经网络(CNN)利用图像信息回归获得人体关节点的热图，即网络回归出的关节点属于某一像素位置的概率值，然后将热图作为输入使用softmax生成二维关节点像素平面坐标，提取人体二维姿态。由于现有的2D姿态估计方法已经非常成熟，具有大量可供训练的数据集，训练出的网络精度极高，利用现有的2D姿态检测器先获得人体2D关节点位置可以有效消除背景、光照等因素对三维姿态估计的影响，提升三维姿态估计的性能。但是由于2D姿态到3D姿态本身是一个求解反投影的病态过程，同一2D姿态反投影回三维空间可能对应着多种3D姿态，因此使用单帧图像的2D姿态预测3D姿态仍然是很具挑战的。当前大多方法在3D姿态估计模型的训练过程中，通常将人体所有关节点视为一个整体学习统一的2D坐标到3D坐标的映射，没有充分考虑人体运动时关节点自由度的差异性，影响了2D姿态重构3D姿态的精度。

总体而言，现有的两阶段模式的3D人体姿态估计方法的估计精度有待进一步提高。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种基于单帧图像的3D人体姿态估计模型建立方法及其应用，其目的在于，充分考虑人体关节点之间运动约束的差异性，对关节点进行分组，对于每个分组，分别完成从2D姿态到3D姿态的估计，从而提高3D人体姿态的估计精度。

为实现上述目的，按照本发明的一个方面，提供了一种基于单帧图像的3D人体姿态估计模型建立方法，包括：

获得已训练好的2D人体姿态估计网络，用于根据RGB图像预测2D人体姿态；2D人体姿态包括构成人体骨架的n个关节点的2D坐标；