[发明专利]一种基于深度学习的三维人体姿态估计方法及系统

说明书

本发明公开了一种基于深度学习的三维人体姿态估计方法及系统，包括图像获取模块获取图像及对获取的图像进行二维关节提取的二维关节提取模块，得到二维关节；利用关节点变换模块对二维关节提取模块获取的二维关节进行关节点变换；利用三维关节提取模块和三维关节预训练模块对关节点变换模块执行关节点变换后的二维关节进行联合深度学习训练并提取三维人体姿态。能自动学习变换参数，对于二维姿态变换过程更加适用，通过限定变换过程中，能对二维姿态的坐标点直接适应性变换，防止了深度学习过程中的误差过大问题。

技术领域

本发明涉及三维人体姿态技术领域，具体为一种基于深度学习的三维人体姿态估计方法及系统。

背景技术

三维人体姿态是现有计算机视觉中十分重要的一部分，一般来说，人体姿态分为图像到二维姿态的提取、图像到三维姿态的提取以及二维姿态到三维姿态的提取三个重要的研究领域。在进行三维人体提取的过程中，其中，直接由图像到三维姿态的提取精度较差，因此本申请的研究是以图像到二维姿态的提取及二维姿态到三维姿态的提取为基础。

在目前的计算机视觉中，对于数据增强几乎都是应用在图像的层面，例如2020年发表的论文《Adversarial Semantic Data Augmentation for Human Pose Estimation》中，采用语义增强的方法对原图像进行数据增强，使得训练出来的网络更具鲁棒性；在人体姿态上，2018年就有研究指出通过图像的训练来增强数据，《Adversarial DataAugmentation in Human Pose Estimation》一文就很清楚的阐述了GAN网络对于图像的数据增强，使得原图像数据在旋转、尺度和遮掩的情况下进行学习，实现了网络的进一步提升。

然而，对于现有的二维人体姿态提取上，以图像为研究对象，确实能利用上述方案对图像进行增强，但是由于三维人体姿态直接从图像上获取的精度无法保证，而且从二维姿态到三维姿态的数据也无法直接对图像操作，因此现有技术当中对于二维姿态到三维姿态的人体姿态估计一直没有很好的数据增强方案，使得这项研究处于空白阶段。

就在2020年，一项研究获得了关注，《Cascaded Deep Monocular 3D Human PoseEstimation with Evolutionary Training Data》一文，发表于CVPR2020，其中对于二维人体姿态数据给出了变换的过程，如说明书附图的图8所示，给出利用关节点的变换构建新的人体姿态数据，这给二维人体姿态指明了一个研究方向。但是，很明显，这项研究是直接的数学操作，等于是将原本的数据集集中进行了数学变换，通过文中给出的公式，是对原二维人体姿态进行固定变换，从而获取变换后的人体姿态，无法给出到适应网络参数学习二维人体姿态，也更无法给出对应的三维人体姿态作为监督信号来供新网络来学习，文中更是指出，在数据量满足条件的情况下，文中效果也并不能达到2019年《3D human poseestimation in video with temporal convolutions and semi-supervised training》的效果，该方向的数据增强很难给出一个适应性的数据增强方案。

因此，本申请基于二维人体姿态的特点，结合图像当中的数据增强方案，提出了一种基于深度学习的三维人体姿态估计方法及系统。

发明内容

针对以上问题，本发明提供了一种基于深度学习的三维人体姿态估计方法及系统，能自动学习变换参数，对于二维姿态变换过程更加适用，通过限定变换过程中，能对二维姿态的坐标点直接适应性变换，防止了深度学习过程中的误差过大问题，可以有效解决背景技术中的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于深度学习的三维人体姿态估计方法，包括图像获取模块获取图像及对获取的图像进行二维关节提取的二维关节提取模块，得到二维关节；

利用关节点变换模块对二维关节提取模块获取的二维关节进行关节点变换；