[发明专利]基于深度学习的人体骨骼关节点三维坐标的获取方法

权利要求书

1.一种基于深度学习的人体骨骼关节点三维坐标的获取方法，其特征在于，该方法包括如下步骤：

步骤S1、数据准备:

加载标准的FBX模型至unity软件，设置摄像头需要采集的数据的组数和相应的摄像头参数，设置所述FBX模型的关节旋转四元数并获取每个关节点的3d坐标和2d坐标，用于最终驱动所述FBX模型运动；

步骤S2、数据预处理：

对所述3d坐标数据和所述2d坐标数据进行归一化处理得到预处理数据，将所述预处理数据按照批次分成不同的组输入到卷积神经网络中；

步骤S3、训练网络：

对输入到所述卷积神经网络中的所述预处理数据进行训练，计算训练集loss和验证集loss，使所述训练集loss和所述验证集loss的损失函数收敛至50mm；

步骤S4、实时人体关节点的3d坐标获取：

将摄像头获取的图像输入至2d关节点检测模块，检测出该图像中人体关节点2d坐标并对所述人体关节点2d坐标进行完整性判断与修正，再将所述人体关节点2d坐标进行归一化处理后输入到所述卷积神经网络，结合利用反归一化获取所述摄像头坐标系下的人体关节点3d坐标；具体包括如下步骤：

步骤S41、将摄像头获取到图像数据输入到2d关节点检测模块，检测出图像中人体关节点的2d坐标；

步骤S42、将检测出的单人或者多人的关节点的2d坐标输入到所述卷积神经网络中；

步骤S43、判断检测到的关节点是否完整，若不完整，对所述关节点的数据进行修正；

步骤S44、将修正后的关节点数据归一化到均值为0，方差为1；

步骤S45、将归一化后的关节点数据输入到所述卷积神经网络，输出经过归一化的关节点的3d坐标数据；

步骤S46、利用反归一化，获取到摄像头坐标系下的人体的关节点的3d坐标数据；

步骤S47、调节所述摄像头的旋转矩阵和平移向量，使得经过所述卷积神经网络输出的3d姿态和真实三维空间中的3d姿态匹配上。

2.根据权利要求1所述的基于深度学习的人体骨骼关节点三维坐标的获取方法，其特征在于，该方法还包括如下步骤：

步骤S5、关节点修正：

计算当前帧检测到的人体关节点与前一帧检测到的人体关节点的匹配率，利用当前帧在前一帧里最优匹配率所对应的指数作为修正，使当前帧在前一帧中有唯一的最优匹配。

3.根据权利要求1所述的基于深度学习的人体骨骼关节点三维坐标的获取方法，其特征在于，步骤S1具体包括如下步骤：

步骤S11、加载所述FBX模型至所述unity软件中；

步骤S12、设定多组FBX模型更新的关节点数据，取第i组数据更新模型，i为整数，其中i初始为0；

步骤S13、将每一帧的关节点的2d坐标和3d坐标以字符串保存；

步骤S14、判断第i组数据中的FBX模型每个关节点更新完毕；若否，则返回步骤S13；若是，则进入步骤S15；

步骤S15、将FBX模型的关节点四元数重置为初始状态，每个关节点的2d坐标和3d坐标数据保存至jason文件格式下；

步骤S16、从jason文件数据解析出2d坐标和对应的3d坐标的数据，分别存储在2d.h5和3d.h5的数据格式下。

4.根据权利要求1所述的基于深度学习的人体骨骼关节点三维坐标的获取方法，其特征在于，步骤S2中包括：

对3d坐标数据处理：

步骤a、将所述FBX模型的每一帧关节点的3d坐标数据转换到摄像头坐标系下；

步骤b、将所述FBX模型的每一帧关节点的3d坐标的数据进行平移置根节点为坐标原点；

步骤c、求出步骤b的数据的均值m和方差d；

步骤d、利用步骤c得到的均值m和方差d将步骤b的3d坐标数据归一化至均值为0，方差为1；

对2d坐标数据处理：

步骤a’、将所述FBX模型的每一帧关节点的2d坐标数据平移，使得根节点为坐标原点；

步骤b’、求得步骤a’计算得到的2d坐标数据的均值m1和方差d1；

步骤c’、利用步骤a’得到的均值m1和方差d1将2d坐标数据归一化到均值为0，方差为1。