[发明专利]一种针对物体遮挡场景的人体形状和姿态估计方法

权利要求书

1.一种针对物体遮挡场景的人体形状和姿态估计方法，其特征在于，包括以下步骤：

(1)在数据准备阶段，利用三维人体数据集人体三维关节点与二维关节点之间的对应关系计算弱透视投影参数；

(2)根据计算得到的弱透视投影参数，通过三维旋转、平移将人体三维模型转换到相机坐标下；

(3)将相机坐标下的人体三维模型顶点x,y,z坐标值归一化到-0.5至0.5范围内后存入UV贴图的R,G,B三个通道中，获得不带遮挡情况下包含人体形状信息的UV贴图；

(4)对人体二维图像加入随机物体图片遮挡，并获取遮挡情况下的人体掩膜；

(5)重复步骤(3)，使用弱透视投影后落在掩膜区域之外的三维点为视觉遮挡下的三维点，其x,y,z坐标固定设为-0.5，获得对应遮挡下的UV贴图；

(6)在训练阶段，基于步骤(1)至步骤(5)获得的虚拟遮挡数据训练编码-解码结构的UV贴图修复网络；所述修复网络以与完整人体UV图之间的L₁损失，相邻像素之间的拉普拉斯平滑项以及UV连接处一致性作为约束；

(7)利用真实物体遮挡人体彩色图像作为输入，以掩膜图像作为真值构建编码-解码结构的显著性检测网络；

(8)将遮挡人体彩色图片与显著性图连接后送入人体编码网络，同时将相应遮挡下的UV贴图使用步骤(6)训练好的修复网络进行编码，使用编码得到的隐空间特征监督人体编码网络训练；

(9)在测试阶段，输入遮挡人体彩色图像，经由显著性检测网络，人体编码网络，将人体编码网络编码得到的隐空间特征值使用修复网络的解码器解码，得到完整的UV图像；

(10)使用UV贴图与人体三维模型的顶点对应关系恢复出遮挡情况下的人体三维模型。

2.根据权利要求1所述的一种针对物体遮挡场景的人体形状和姿态估计方法，其特征在于，步骤(6)所述的UV贴图修复网络使用ResNet作为编码器，以堆叠的反卷积层作为解码器。

3.根据权利要求1所述的一种针对物体遮挡场景的人体形状和姿态估计方法，其特征在于，所述步骤(6)通过以下公式实现：

L＝L₁+λL_tv+μL_p

其中，λ，μ为权重，L_tv为拉普拉斯平滑项，L_p为UV连接处一致性约束：

其中，V_b是对应多个UV像素的模型顶点点集，P(v)是模型顶点v对应的UV像素值。

4.根据权利要求1所述的一种针对物体遮挡场景的人体形状和姿态估计方法，其特征在于，步骤(8)所述的人体编码网络使用VGG-19结构。

5.根据权利要求1所述的一种针对物体遮挡场景的人体形状和姿态估计方法，其特征在于，步骤(9)所述的彩色图像为从单目彩色相机获取的经过预处理的人体遮挡图像。