[发明专利]多目相机系统的最优视角选择方法和三维人体骨骼检测方法

说明书

多目相机系统的最优视角选择方法和三维人体骨骼检测方法，最优视角选择方法包括：多目相机系统获得二维关键点，每个相机视角对应设关键点检测和一个置信度；关键点在该相机视角中不可见则为0；可见则为1；建立初始的最优相机集合作为初始化，并将置信度大于等于阈值γ的关键点对应的相机视角集合作为初始最优视角组合。三维人体骨骼检测方法包括数据采集获得人体图片的二维关键点及对应的置信度；对二维关键点选择出最优相机视角；生成三维骨骼点。本发明能够简便快捷地从多目相机系统中选择出最佳的视角组合做三角化，从而得到更加精确的三维人体骨骼，提高了视角选择的鲁棒性与准确性。

技术领域

本发明涉及三维图形技术领域，具体地说是一种多目相机系统的最优视角选择方法和三维人体骨骼检测方法。

背景技术

在三维重建领域，常用的输入设备为单目相机、单目深度相机、双目相机和多 目相机系统。由于拍摄的物体可能存在遮挡，尤其是拍摄人体时人体四肢可能 出现自遮挡，单目(深度)相机受限于视角范围往往不能实施有效的骨骼识别， 而双目相机也无法覆盖全部的视角，因此多目相机系统最适合这一任务。

但是，多目相机系统的相机数量、相机位置都是需要考虑的问题。理论上来说 相机越多，覆盖的视角更多，效果应该更好。但是相机越多，越容易因为相机 的标定误差造成更大的错误。目前，传统的方法是利用随机抽样一致性 (Random SampleConsensus)算法排除异常点然后再做三角化(triangulation)， 但这个方法没有考虑到相机的空间位置信息，因此效果并不好。

发明内容

本发明为解决现有的问题，旨在提供一种多目相机系统的最优视角选择方法和三维人体骨骼检测方法。

为了达到上述目的，本发明采用的技术方案提供一种三维人体骨骼检测中多目相机系统的最优视角选择方法，多目相机系统获得二维关键点，每个相机视角 v_i对应设关键点检测d_i和一个置信度s_i；置信度s_i为关键点的0、1标记值，关 键点在该相机视角v_i中不可见则为0；可见则为1；

根据置信度s_i建立初始的最优相机集合作为初始化，并将置信度s_i大于等于阈 值γ的关键点对应的相机视角集合作为初始最优视角组合。

其中，阈值γ∈[0.5,0.9]。

其中，将置信度s_i为0的相机视角抛弃；并选取与最优视角组合的平均距离大 的相机。

其中，相机视角设为节点，相连成边，并构成图并通过如下函数 给节点标记0、1值：E_i，j：＝E_U(v_i→l_i)+λE_B(v_i→l_i，v_j→l_j)；其中v表示相 机集合，ε表示连接关系集合。

其中，其中E_U是相似性能量函数，用来衡量将标记l_i给相机v_i的代价，公式如 下：

其中i，j∈1，2，...，n。

其中，二元项E_B是对选出的相机位置及视角方向的一个约束，定义如下：

E_B(v_i，v_j)＝d(c_i，c_j)+Θ(c_i，c_j)