[发明专利]一种基于深度学习的三维人体姿态估计方法及系统

权利要求书

1.一种基于深度学习的三维人体姿态估计方法，其特征在于：包括图像获取模块获取图像及二维关节提取模块对获取的图像进行二维关节提取得到二维关节；

利用关节点变换模块对二维关节提取模块获取的二维关节进行关节点变换；

利用三维关节提取模块和三维关节预训练模块对关节点变换模块执行关节点变换后的二维关节进行联合深度学习训练并估计三维人体姿态；

所述利用关节点变换模块对二维关节提取模块获取的二维关节进行关节点变换包括

执行二维关节点的关节适应性变换单元对二维关节提取模块获取的二维关节进行关节点变换，得到关节点变换后的二维变换后最小单元；

利用二维关节更新模块对二维变换后最小单元进行更新得到更新后二维变换后最小单元，并得到二维变换关节点；

根据二维变换关节点利用三维关节预训练模块预测，得到三维姿态变换后最小单元；

将变换前三维姿态groundtruth和三维姿态变换后最小单元进行姿态调整得到三维变换关节点；

将二维变换关节点输入至三维关节提取模块，以三维变换关节点执行Loss监督，记为Loss1，得到三维人体姿态；

所述执行二维关节点的关节适应性变换单元对二维关节提取模块获取的二维关节进行关节点变换，得到关节点变换后的二维变换后最小单元包括

获取二维关节点个数和对应关节点位置；

将二维关节点个数和对应关节点位置合成为二维变换前最小单元，对二维变换前最小单元进行旋转以及尺度变换学习，得到关节适应性变换单元；

将二维变换前最小单元输入关节适应性变换单元，得到二维变换后最小单元；

并对二维变换后最小单元以二维变换前最小单元执行Loss监督，记为Loss2d；

所述将二维变换前最小单元输入关节适应性变换单元，得到二维变换后最小单元包括

将二维关节点个数和对应关节点位置合并，对其做卷积和线性变换，得到关节适应性变换单元的控制参数个数；

将关节适应性变换单元的控制参数分别作为旋转、尺度变换的学习参数；

将学习到的旋转、尺度对二维变换前最小单元中的二维关节坐标进行位置转换，得到二维变换后最小单元；

所述关节适应性变换单元包括卷积预测层、线性对齐层和参数合并层；

其中，所述卷积预测层将二维关节点个数和对应关节点位置进行卷积操作，获取二维关节点的空间位置关联信息；所述线性对齐层将二维关节点的空间位置关联信息进行线性规整输出，获取二维关节个数与预测参数个数对齐，得到旋转和尺度的学习参数；所述参数合并层将二维关节点旋转、尺度的学习参数构建旋转角和尺度特征，得到关节适应性变换单元；

其中，损失函数设计与二维关节的数据格式适配，loss2d和loss2以二维变换前最小单元为监督参考对象，在进行关节适应性变换单元和二维关节点更新单元的计算过程中都以此为监督，实现变换和更新后的二维关节都在训练过程中逼近二维变换前最小单元，通过二维变换前最小单元来得到变换参数，又将二维变换前最小单元作为监督数据，让增强后的数据可以继承原图像二维关节的关系，得到符合训练要求的二维变换关节点；在loss3和loss1的监督训练下，使得三维人体姿态的学习能以变换前三维姿态groundtruth为基准，得到与原本变换前三维姿态groundtruth相类似的监督数据；

在loss2d和loss2监督下得到的二维变换关节点是与原二维变换前最小单元的类似姿态，在loss3监督下，通过三维关节预训练模块模拟出符合条件的三维变换关节点，再由loss1监督，训练所述三维关节提取模块，保证loss2d、loss2、loss3的下降速度，实现整体梯度回传反馈；

在监督训练过程中，所述三维关节预训练模块内部参数不变。

2.根据权利要求1所述的一种基于深度学习的三维人体姿态估计方法，其特征在于：所述利用二维关节更新模块对二维变换后最小单元进行更新，得到更新后二维变换后最小单元，并得到二维变换关节点包括：

获取二维变换后最小单元；

根据所述图像获取模块获取的图像帧数，将二维变换后最小单元与二维变换前最小单元进行随机帧数混合，得到帧数混合后的二维变换后最小单元；

将二维变换前最小单元与帧数混合后的二维变换后最小单元进行LOSS监督，记为Loss2；得到更新后二维变换后最小单元；

对更新后二维变换后最小单元的二维关节点个数和对应关节点位置进行拆解，得到二维变换关节点。