[发明专利]基于深度学习的人体骨骼关节点三维坐标的获取方法

说明书

本发明提供了一种基于深度学习的人体骨骼关节点三维坐标的获取方法，该方法包括如下步骤：数据准备：加载标准的FBX模型至unity软件，设置所述FBX模型的关节旋转四元数并获取每个关节点的3d坐标和2d坐标；数据预处理：对所述3d坐标数据和所述2d坐标数据进行归一化处理并输入到卷积神经网络中；训练网络：计算训练集loss和验证集loss；实时人体关节点的3d坐标获取：检测出该图像中人体关节点2d坐标并进行归一化处理后输入到所述卷积神经网络，结合利用反归一化获取所述摄像头坐标系下的人体关节点3d坐标。与相关技术相比，本发明的基于深度学习的人体骨骼关节点三维坐标的获取方法硬件成本低、准确度高且适用范围广。

技术领域

本发明属于人工智能领域，尤其涉及一种基于深度学习的人体骨骼关节点三维坐标的获取方法。

背景技术

随着社会的发展和进步，语音控制等家电智能化的程度也越来越高，满足了人们对家居智能化的需求，但该类智能产品也有很大局限性，比如对一些存在语言障碍的人则无法体验。因此需要一些更加符合人类操作习惯的智能产品的出现，如在智能家居领域内，通过检测姿态动作，判断人进行了何种操作进而来驱动智能化产品；又比如在康复医疗领域内，利用检测到的人体姿态判断人体的行为与标准模板是否匹配。

相关技术中，已经有了一些对人体姿态估计的研究，主要有以下三类，一类是类似opti-track这类光学捕捉仪器，在人体上贴上多个Mark 点，检测到Mark点的位置，最终确定人体关节点的位置，该方法需要硬件辅助多，使用局限性大，不利用普及推广。第二类是类似于Kinect，通过多个摄像头，双目定位的方式获取到人体的三维关节点坐标，同样该方法使用局限性大，硬件辅助多，成本高，不利用普及推广。第三类是通过深度学习算法检测到人体的二维关节点的坐标，但并未实现向三维坐标的转换，不能获取到人体的关节的进一步的信息。有部分转换算法依赖于有限的训练数据，转换后只对部分图片处理有比较好的效果，无法进行广泛的使用。

因此，实有必要提供一种新的基于深度学习的人体骨骼关节点三维坐标的获取方法解决上述问题。

发明内容

针对以上现有技术的不足，本发明提出一种硬件成本低、准确度高且适用范围广的基于深度学习的人体骨骼关节点三维坐标的获取方法。

本发明提供的一种基于深度学习的人体骨骼关节点三维坐标的获取方法，该方法包括如下步骤：

步骤S1、数据准备:

加载标准的FBX模型至unity软件，设置摄像头需要采集的数据的组数和相应的摄像头参数，设置所述FBX模型的关节旋转四元数并获取每个关节点的3d坐标和2d坐标，用于最终驱动所述FBX模型运动；

步骤S2、数据预处理：

对所述3d坐标数据和所述2d坐标数据进行归一化处理得到预处理数据，将所述预处理数据按照批次分成不同的组输入到卷积神经网络中；

步骤S3、训练网络：

对输入到所述卷积神经网络中的所述预处理数据进行训练，计算训练集loss和验证集loss，使所述训练集loss和所述验证集loss的损失函数收敛至50mm；

步骤S4、实时人体关节点的3d坐标获取：

将摄像头获取的图像输入至2d关节点检测模块，检测出该图像中人体关节点2d坐标并对所述人体关节点2d坐标进行完整性判断与修正，再将所述人体关节点2d坐标进行归一化处理后输入到所述卷积神经网络，结合利用反归一化获取所述摄像头坐标系下的人体关节点3d 坐标。

优选的，所述基于深度学习的人体骨骼关节点三维坐标的获取方法还包括如下步骤：

步骤S5、关节点修正：