[发明专利]多目相机系统的最优视角选择方法和三维人体骨骼检测方法

权利要求书

1.一种三维人体骨骼检测中多目相机系统的最优视角选择方法，多目相机系统获得二维关键点，其特征在于：

每个相机视角v_i对应设关键点检测d_i和一个置信度s_i；

置信度s_i为关键点的0、1标记值，关键点在该相机视角v_i中不可见则为0；可见则为1；

根据置信度s_i建立初始的最优相机集合作为初始化，并将置信度s_i大于等于阈值γ的关键点对应的相机视角集合作为初始最优视角组合。

2.根据权利要求1所述的三维人体骨骼检测中多目相机系统的最优视角选择方法，其特征在于：阈值γ∈[0.5,0.9]。

3.根据权利要求1所述的三维人体骨骼检测中多目相机系统的最优视角选择方法，其特征在于：将置信度s_i为0的相机视角抛弃；并选取与最优视角组合的平均距离大的相机。

4.根据权利要求3所述的三维人体骨骼检测中多目相机系统的最优视角选择方法，其特征在于：相机视角设为节点，相连成边，并构成图并通过如下函数给节点标记0、1值：E_i，j：＝E_U(v_i→l_i)+λE_B(v_i→l_i，v_j→l_j)；其中表示相机集合，ε表示连接关系集合。

5.根据权利要求4所述的三维人体骨骼检测中多目相机系统的最优视角选择方法，其特征在于：其中E_U是相似性能量函数，用来衡量将标记l_i给相机v_i的代价，公式如下：

其中i，j∈1，2，...，n。

6.根据权利要求5所述的三维人体骨骼检测中多目相机系统的最优视角选择方法，其特征在于：二元项E_B是对选出的相机位置及视角方向的一个约束，定义如下：

E_B(v_i，v_j)＝d(c_i，c_j)+Θ(c_i，c_j)

d(c_i，c_j)是相机i和相机j之间的欧式距离，Θ(c_i，c_j)是两个相机的视角方向(Lookatdirection)的夹角归一化后的值。

7.一种三维人体骨骼检测方法，其特征在于：

步骤一，数据采集，即利用多目相机系统采集若干人体图片，

步骤二，获得人体图片的二维关键点及对应的置信度；

步骤三，根据置信度和相机空间信息建立视角图，根据权利要求1-6任一所述的最优视角选择方法选择出最优相机视角；

步骤四，根据选出的最佳视角组合做二维点到三维的三角化与集束调整，最终生成三维骨骼点。

8.根据权利要求7所述的三维人体骨骼检测方法，其特征在于：步骤二中，通过深度神经网络OpenPose获得每帧图像上的人体二维关键点，即从每帧图像中识别出人体的二维骨骼点，包括身体上25个点和手上21个点。

9.根据权利要求7所述的三维人体骨骼检测方法，其特征在于：步骤四中，给定每个相机V_i下都可见的一个二维骨骼点及相机投影矩阵列出如下公式：

AX_i＝0

X_i代表需要求的三维点位置。

10.根据权利要求9所述的三维人体骨骼检测方法，其特征在于：步骤四中，接着利用集束调整来进一步优化结果，集束调整公式为:

给定最优视角集合下的图像v₁，v₂，...，v_n，x_ij表示网络在v_i上检测出的序号j的骨骼点，s_ij为网络对x_ij的置信度,p_vi表示v_i的投影矩阵。