[发明专利]一种基于骨架图回归的三维人体姿态估计的方法

权利要求书

1.一种基于骨架图回归的三维人体姿态估计的方法，其特征在于，主要包括分割(一)；回归(二)；匹配(三)。

2.基于权利要求书1所述的基于骨架图回归的三维人体姿态估计的方法，其特征在于，给定一个人的RGB图像目标是输出关节数为K＝16的3D关节位置将问题分解为分割、回归和匹配三个步骤。

3.基于权利要求书2所述的分割、回归和匹配，其特征在于，对于具有裁剪缩放c_i和宽度尺l_i的每个配置p_i＝{c_i,l_i}，通过解卷积网络Deconv_i(i＝1,…,n)生成前景骨架图和背景骨架图骨架映射分别馈入单独的回归网络R＝{Regression_i|i＝1,…,n}，其中，Regression_i采用骨架图作为输入并且输出3D姿势的假设Xⁱ，从而产生多个3D假设为了匹配二维观测值选择对二维联合检测具有最小投影误差的假设作为最终输出。

4.基于权利要求书3所述的骨架图，其特征在于，骨架图在人体骨骼中的相邻关节之间画出一条宽度为l_i的线，并指定不同的颜色来区分身体部位；将胸部定义为根，再定义其它15个身体部位；骨架图是身体局部分割图，它可以根据身体各个部位中的关系对各个身体部位进行编码。

5.基于权利要求书1所述的分割(一)，其特征在于，采用编码器-解码器架构解卷积，从而生成骨架图；使用解卷积层替换第5池层之后的完全连接层；网络结构以224×224图像开始，并提取下采样过程中的特征；在这里只描述了res2c，res3d，res4f和res5c(残差网络的层)；最后去掉完全连接层；建立在第5池层上的传递模块处理特征映射，产生最终输出：一个三通道56×56的骨架图由重复的上采样块组成(初始权重设置为双线性上采样)，然后是残差模块；分割包括截断处理、宽度处理和遮挡处理。

6.基于权利要求书5所述的截断处理，其特征在于，截断是由图像边界引起的人体关节的局部可见性，尤其对于野外三维人体姿态估计来说是一个挑战；由于缺乏图像证据，解卷积网络不确定是否绘制与裁剪的端点关节(即手腕或脚踝)相关联的片断；解决这个问题的一个标准方法是使用多重图像裁剪，将提供的数据集中的粗略人物尺度乘以重新缩放因子(即c_i∈{1.0,1.25,1.5})；二维联合标定好的真实数据在相应的裁剪窗口中被重新缩放；室内数据集不会被截断，并且裁剪尺寸c_i始终设置为1.0。

7.基于权利要求书5所述的宽度处理，其特征在于，多尺度骨架图中，每个卷积层的比例尺小于感受域的骨架像素；只有感受野尺寸大于线宽度的卷积层才能捕捉身体部位的特征；因此，粗略分割(粗线宽度)和精细分割(细线宽度)以低级和高级特征的不同组合为特征。

8.基于权利要求书5所述的遮挡处理，其特征在于，遮挡会阻碍准确的人体姿势估计；前景骨架图显示遮挡他人的身体部位，而背景骨架图显示被他人遮挡的部位；也就是说，骨架图模拟了两个重叠身体部位的遮挡关系；骨骼上的每个2D端点关节导致其朝向照相机光学中心的光线；假设3D点{X_u,Y_u,Z_u}对骨B_u、{X_v,Y_v,Z_v}对骨B_v产生相同的二维投影{x,y}；用id表示深度较小(Z方向靠近摄像机)的点，另一个为前景骨架图将B_id的颜色赋予像素{x,y}上；相比之下，背景骨架图指定骨骼的假设骨骼遮挡骨骼B_id；骨架图的这种固有的遮挡感知属性对于回归非常重要。