[发明专利]一种基于关节依赖的人体骨架提取方法

权利要求书

1.一种基于关节依赖的人体骨架提取方法，其特征在于，包括以下步骤：

S1：对图片数据集进行预处理和扩增，并划分为训练集和测试集；

S2：构建关节依赖的人体骨架提取网络；

S3：将训练集输入关节依赖的人体骨架提取网络，得到关节依赖的人体骨架提取网络模型以及关节的预测类标；

S4：根据关节的预测类标，使用反向传播算法对关节依赖的人体骨架提取网络模型进行优化，得到最优关节依赖的人体骨架提取网络模型；

S5：将测试集输入最优关节依赖的人体骨架提取网络模型，得到关节的测试类标；

S6：根据关节的测试类标，提取出人体骨架。

2.根据权利要求1所述的基于关节依赖的人体骨架提取方法，其特征在于，所述步骤S1中，进行预处理，包括如下步骤：

S1-1：生成变换矩阵；

S1-2：将图片数据集中原始图像上的像素点坐标乘以变换矩阵，得到变换后坐标位置；

S1-3：将坐标位置位于缩放图像范围中的像素点复制到变换矩阵中，并舍去范围外的像素点，实现图像的预处理。

3.根据权利要求1所述的基于关节依赖的人体骨架提取方法，其特征在于，所述步骤S2中，关节依赖的人体骨架提取网络模型，包括前端的特征提取部分和后端的关节依赖建模部分；所述特征提取部分依次由卷积、残差模块、最大池化以及两个残差模块构成。

4.根据权利要求1所述的基于关节依赖的人体骨架提取方法，其特征在于，所述关节依赖建模的方法，包括如下步骤：

A-1：使用单关节回归网络建立关节依赖关系模型；

A-2：根据关节依赖关系模型，使用单关节回归网络从头部关节依次回归所有类型关节；

A-3：根据所有类型关节，构建人体树模型，实现关节依赖建模。

5.根据权利要求4所述的基于关节依赖的人体骨架提取方法，其特征在于，所述单关节回归网络依次由沙漏模块、残差模块和卷积构成。

6.根据权利要求4所述的基于关节依赖的人体骨架提取方法，其特征在于，所述关节依赖关系模型的公式为：

人体骨架提取形式化描述公式为：

式中，为网络回归出来的关节点的类标E为低层特征提取网络；α为单回归网络参数；F为回归网络；β为回归网络的参数；

头部关节建模公式为：

式中，为输出的头部关节的特征；为头部关节的预测类标；H₁为单回归网络函数；E(X_i,α)为输入的图片X_i的特征；α为单回归网络参数；β₁为当前单回归网络参数集合；j₁为头部关节；J为关节集合；

其它关节之间依赖关系建模公式为：

式中，为下一个网络输出的关节的特征；为上一个关节的预测类标；为上一个网络输出的关节的特征；β_t为上一个网络单回归网络参数集合；S(j_t)为在S中找出以关节j_t结尾的有序关节集合；j_t为上一个关节；J为关节集合。

7.根据权利要求1所述的基于关节依赖的人体骨架提取方法，其特征在于，所述步骤S4中，使用反向传播算法对关节依赖的人体骨架提取网络模型进行优化，包括如下步骤：

S4-1：计算关节的真实坐标的热力图；

S4-2：根据关节的预测类标和真实的热力图，拟合真实的类标，回归人体的关节点。

8.根据权利要求7所述的基于关节依赖的人体骨架提取方法，其特征在于，所述步骤S4-1中，关节的真实坐标的热力图的计算公式为：

式中，g(y_jk,i,j)为(i,j)空间位置的关节的真实坐标的热力图；为图像中关节k的真实坐标。

9.根据权利要求7所述的基于关节依赖的人体骨架提取方法，其特征在于，所述步骤S4-2中，关节依赖的人体骨架提取网络模型的损失的计算公式为：

式中，L为关节依赖的人体骨架提取网络模型的损失函数；为关节k的预测类标；(X,Y)为训练样本；D为数据集；j_k为当前关节指示量；K为关节总数；J为关节集合。