[发明专利]基于多模态信息融合的人体姿态估计方法

权利要求书

1.一种基于多模态信息融合的人体姿态估计方法，其特征在于所述方法包括如下步骤：

步骤一、利用RGBD相机采集RGB和Depth图像对，分别对RGB和Depth图像做背景分割操作；

步骤二、令RGB图像某像素点坐标为X_R(i,j)，对应的深度图像素点坐标为X_D(i,j)，根据深度图的分辨率生成一个掩码图，该掩码图的对应像素坐标为X_M(i,j)；

步骤三、根据场景复杂度设计一个可控阈值δ，对掩码图进行如下二值化操作：

步骤四、将二值化的掩码图分别与RGB和Depth图像进行点乘，抑制掉RGB和Depth图像中大部分的背景信息；

步骤五、将步骤四分割完背景信息的RGB和Depth图像作为多模态网络的输入，通过主干网络生成特征图后把特征输入到第一阶段，将第一阶段的输出和原始图像特征图F作为第二阶段的输入，并以此循环，生成RGB特征图和Depth特征图；

步骤六、在训练时，对于每个人k的位置p，生成个人关键点置信图

步骤七、在测试时，通过最大化操作得到关键点的位置，并且利用非极大值抑制排除冗余关键点；

步骤八、在得到关键点以及相关性的边权之后，利用匈牙利算法求得相邻关键点的最优匹配，从而得到图像中所有人的姿态骨架。

2.根据权利要求1所述的基于多模态信息融合的人体姿态估计方法，其特征在于所述步骤四中，掩膜操作公式为：

X_R(i,j)＝X_M(i,j)·X_R(i,j)；

X_D(i,j)＝X_M(i,j)·X_D(i,j)。

3.根据权利要求1所述的基于多模态信息融合的人体姿态估计方法，其特征在于所述步骤五中，主干网络为轻量级的MobileNetV1系列结构，每个阶段有两个分支；第一个阶段中的一个分支使用卷积神经网络提取关键点置信图集合S¹＝ρ¹(F)，第二个分支预测关键点亲和场两个分支都是一轮迭代的预测体系结构。

4.根据权利要求3所述的基于多模态信息融合的人体姿态估计方法，其特征在于所述迭代公式为：

其中，ρ和代表该阶段中用于推理的CNN网络，F为原始图像特征feature maps，S^t-1,L^t-1为前一阶段关键点置信度图和部分亲和向量场，t为阶段数。

5.根据权利要求1所述的基于多模态信息融合的人体姿态估计方法，其特征在于所述步骤六中，个人关键点置信图的方式公式为：

其中，X_j,k为个人k，关键点j的真值的位置，σ为控制峰值范围的系数。通过最大化操作得到真值的置信图：为个人关键点置信图，k为一张图中第k个人，j为身体关键点序号j，p为位置的值，σ为收缩因子。