[发明专利]一种针对两视图的全局三维人体姿态可信估计方法

摘要

本发明提出了一种基于两视图的全局三维人体姿态可信估计方法，可用于无标记人体动作捕捉。本发明的核心创新点如下：首先，本发明提出基于两视图对极几何约束和人体骨长约束进行不可靠关节点检测。其次，本发明提出基于网络估计出的关节点置信度图，对极线约束，骨长约束进行不可靠关节的矫正。最后，本发明提出了简单，高效的相机外参自动标定技术和骨长计算方法。本发明在不利用人体模型或假设任何人体先验知识的情况下，可以实现对不同体形的任何人进行稳定可信地二维和全局三维人体姿态估计。本发明生成的姿态满足两视图对极几何约束和人体骨长约束，实现了在严重遮挡，对称歧义，运动模糊等极具挑战的场景下鲁棒可信的人体姿态估计。

主权项

1.一种针对两视图的可信三维人体姿态估计方法，其特征在于，包括以下步骤：(1)从左右两个相机中分别获取N帧图像；利用N组一一对应的左右两个视图，分别进行二维人体姿态的初步估计，得到N组关节点的初始二维位置；每一组关节点中包含人体的14个关节点。各个关节点名称如下：，关节点对应编号依次为<1，2，3，4，5，6，7，8，9，10，11，12，13，14>，各关节点对应的父关节点编号依次为<#，1，2，3，4，2，6，7，2，9，10，2，12，13>。其中#表示无父节点，关节点9(Hip.L)和关节点13(Hip.R)与父关节点(Neck)之间不形成固定骨长，其余关节点与父关节点之间均形成具有固定骨长的骨头，共11段骨头，标记为；所述二维人体姿态初步估计，以一张RGB图像作为输入，采用级联的全卷积神经网络模型回归14个关节点的置信度图Sj，j∈{1，2，...，14}，关节点j的初始二维坐标通过选取置信度图中置信度最大值所对应的像素点获得，即关节点j的坐标xj为：Sj(x)为置信图中像素点x的置信度；(2)根据步骤1获得的N组关节点的初始二维位置；即N*14个来自左右两个视图的关节点对，利用这些匹配关节点对的初始二维位置，以及两个相机内参K1，K2(已知或预先标定)，估计左右两视图对应的本征矩阵E，对本征矩阵E分解得到相机外参M1，M2。由相机内参K1，K2和外参M1，M2进一步得到左右两视图各自的相机投影矩阵P1＝K1M1，P2＝K2M2；(3)根据步骤1获得的N组关节点的初始二维位置，以及步骤2获得的相机投影矩阵，采用线性三角化技术得到这N组关节点的初始三维位置。利用每段骨头对应的两个关节点的三维位置，分别获得骨长信息，总共得到N组骨长信息；每一组骨长信息中，包含人体的11个骨长数据；针对每一个骨头b_i，取N组骨长信息中对应位置的骨长数据的中位数作为该位置的骨长的可靠估计，记为(4)检测和矫正不可靠关节点(4.1)利用对极几何准则和骨长准则检测不可靠关节点：所述对极几何准则来源于两视图对极几何约束，该准则定义如下：对于关节点j，计算xj，1和xj，2到相应对极线lj，1和lj，2的最大距离，UE(j)＝max{d(xj，1，lj，1)，d(xj，2，lj，2)}其中，x_j，1和x_j，2分别为关节点j在左右视图中的位置，l_j，1＝F^Tx_j，2，l_j，2＝Fx_j，1，是左右两视图对应的基础矩阵。d(x，l)计算图像上点x到直线l的垂直距离。若：UE(j)＞η1η1＝12(像素)，则不满足放松的对极几何约束条件，是不可靠估计。若该关节点的父关节点不是可靠的且矫正之后任然不可靠，则仅以对极几何准则判断该关节点的可靠性，否则进一步利用骨长准则检测关节点j的可靠性。所述骨长准则如下：不失一般性，假定关节点j与其父关节点k之间形成骨头b_i，对应骨长的可靠估计为定义关节点j的二维初始坐标<x_j，1，x_j，2>经过三角化得到三维初始坐标为X_j，父关节点的三维位置为X_k，骨长准则计算||X_j‑X_k||₂与骨长之间的差异，||X_j‑X_k||₂表示X_j，X_k之间的欧氏距离，即：对于关节点j，若η2＝0.1，即不满足放松的骨长约束，是不可靠估计。(4.2)矫正不可靠关节点：对于一对不可靠估计，比较xj，1和xj，2的置信度大小，以置信度大的作为正确估计，另一个为错误估计。不失一般性，假定视图1提供正确估计，视图2为错误估计，即xj，1为正确估计，xj，2为错误估计。若该关节点j的父关节点可靠，或经校准后可靠，则以骨长矫正方法进行矫正。假定关节点j的父关节点为k，两者之间形成骨头b_i，对应骨长为骨长矫正方法如下：将寻找最优二维估计xj，2的问题转化为在世界坐标系中寻找一个三维点Xj满足相机投影模型及骨长约束的优化问题，即s.t.P1Xj＝xj，1P1是视图1对应的投影矩阵。该优化问题的几何形式如下：在由图像点x_j，1经过P₁反投影的三维射线上寻找一个点X_j满足或者距离X_k最近。可通过投影得到的三维射线与以X_k为球心，为半径的球的交点或者距离球心最近的点求解。区分两者情况：射线与球没有交点或有交点。对于第一种情况(没有交点)，最优点X_j选取射线上距离X_k最近的点。对于第二种情况下(有交点)，设两个交点分别为A，B，将这两个交点均重投影到视图2(不可靠视图)得到P₂A，P₂B，这里，P₂是视图2对应的投影矩阵。比较这两个二维点的置信度S_j，2(P₂A)和S_j，2(P₂B)，选取对应置信度高的点作为最优估计X_j。得到最优三维估计X_j之后，将该三维坐标X_j投影到视图2(不可靠视图)得到最优二维估计P₂X_j，对x_j，2进行更新，即：xj，2←P2Xj否则采用对极几何方法进行校正，矫正过程如下：计算正确估计x_j，1在不可靠视图上的对极线l_j，2＝Fx_j，1，选取该对极线上置信度最高的像素点作为最优二维估计，对x_j，2进行更新，即：s.t. xTlj，2＝0Sj，2(x)表示视图2中关节点j的置信图中像素点x的置信度；所述父节点的可靠性通过以下方法评估：利用对极几何准则和骨长准则进行评估，若UE(j)＜η1且Sj，1(xj，1)+Sj，2(xj，2)＞η3这里，η3＝0.2，则称关节点j是可靠的，可以为其子节点的可靠性检测和矫正提供依据。(6)三维人体姿态恢复。经过步骤4得到左右两视图可靠的二维姿态估计之后，结合步骤2估计的相机投影矩阵，采用线性三角化技术实现从两视图的可靠二维姿态到三维姿态的恢复。