[发明专利]一种针对两视图的全局三维人体姿态可信估计方法

说明书

本发明提出了一种基于两视图的全局三维人体姿态可信估计方法，可用于无标记人体动作捕捉。本发明的核心创新点如下：首先，本发明提出基于两视图对极几何约束和人体骨长约束进行不可靠关节点检测。其次，本发明提出基于网络估计出的关节点置信度图，对极线约束，骨长约束进行不可靠关节的矫正。最后，本发明提出了简单，高效的相机外参自动标定技术和骨长计算方法。本发明在不利用人体模型或假设任何人体先验知识的情况下，可以实现对不同体形的任何人进行稳定可信地二维和全局三维人体姿态估计。本发明生成的姿态满足两视图对极几何约束和人体骨长约束，实现了在严重遮挡，对称歧义，运动模糊等极具挑战的场景下鲁棒可信的人体姿态估计。

技术领域

给定两幅以人为主体的视图，本发明旨在估计满足对极几何约束约束和骨长约束的可信三维人体姿态。首先，本发明提出利用两视图对极几何约束和人体骨长约束检测不可靠关节点估计的方法。其次，本发明提出对极线约束和骨长约束进行不可靠关节的矫正方法。最后，本发明提出自动的相机外参标定和骨长计算方法。对于人体姿态估计中严重遮挡，对称歧义，运动模糊等挑战，本发明实现了鲁棒可信的姿态估计。本发明在不利用人体模型或假设任何人体先验知识的情况下，可以实现对不同骨架尺寸，比例的任何人进行稳定，可信的二维和全局三维人体姿态估计。

背景技术

现有的三维人体姿态估计方法根据输入数据不同可以分为：基于单目RGB图像(序列)；基于深度图像(序列)；和基于多视图图像(序列)。基于单目RGB图像(序列)进行三维人体姿态估计是一个严重约束不足的问题，系统的观测输入为复杂自然图像，状态输出为高维人体姿态,由观测输入到状态输出过程是高度非线性的。3D姿态训练数据集的不足、不同人体尺寸和比例的差异、以及三维姿态空间的高维度,都使得三维姿态重建的可信性成为亟待解决的关键问题。基于深度图像(序列)的三维人体姿态估计方法有效缓解了基于单目图像方法的深度歧义问题。现有的基于深度的人体姿态估计方法所采用的深度图通常来自ToF相机或Kinect传感器。然而，Kinect和ToF都是主动传感器，因此仅限于没有红外线干扰的室内场景，并且只能在有限的范围内工作。基于多视图图像(序列)的方法可以有效克服单目三维姿态估计中的困难，并构建一个更真实适用的姿态估计系统。但现有的多视图方法通常都是独立地估计二维姿态和三维姿态，因此不能充分利用多视图三维几何信息。这些的方法的结果可能不满足多视图几何约束。

目前为止的三维姿态估计方法在获取关节点深度信息方面都依赖于骨架模型和训练数据。骨架模型提供关节点之间几何约束，训练数据则提供了二维姿态与深度之间的统计关系。然而，三维姿态数据集获取困难、规模小；同时三维姿态的状态参数维度高、个体身材比例和大小的差异大。这导致三维姿态估计结果的可信度无法保证。

发明内容

本发明的目的是针对现有技术的不足，提供一种可信的三维人体姿态估计方法。

本发明是通过以下技术方案实现的：一种针对两视图的三维人体姿态可信估计方法，包括以下步骤：一种针对两视图的可信三维人体姿态估计方法，包括以下步骤：

(1)从左右两个相机中分别获取N帧图像；利用N组一一对应的左右两个视图，分别进行二维人体姿态的初步估计，得到N组关节点的初始二维位置；

每一组关节点中包含人体的14个关节点。各个关节点名称如下：Head，Neck，Shoulder.L，Elbow.L，Wrist.L，Shoulder.R，Elbow.R，Wrist.R，Hip.L，Knee.L，Ankle.L，Hip.R，Knee.R，Ankle.R，关节点对应编号依次为1，2，3，4，5，6，7，8，9，10，11，12，13，14，各关节点对应的父关节点编号依次为#，1，2，3，4，2，6，7，2，9，10，2，12，13。其中#表示无父节点，关节点9(Hip.L)和关节点13(Hip.R)与父关节点(Neck)之间不形成固定骨长，其余关节点与父关节点之间均形成具有固定骨长的骨头，共11段骨头，标记为b₁，...，b₁₁；