[发明专利]基于多双目立体视觉的运动捕获方法

权利要求书

1.基于多双目立体视觉的运动捕获方法，其特征在于包括下述步骤：

(a)架设运动视频采集装置，通过运动视频采集装置从不同方位采集人体运动视频序列；

(b)对多个摄像机拍摄的多目运动视频序列的标定；

(c)对每个双目跟踪器的标记点进行匹配和跟踪，且只考虑在其双目公共视野区域内出现的标记点，其他视野区域的标记点不予考虑；

(d)完成多个双目跟踪器的三维跟踪结果的数据融合；

(e)将多目融合器获得的标记点三维运动轨迹信息反馈给双目跟踪器，用来完善双目跟踪。

2.利用权利要求1所述基于多双目立体视觉的运动捕获方法，其特征在于：所述步骤(a)将多台普通摄像机每两台分成一组，一组内的两台摄像机固定在一个平衡杠杆上，作为一个双目视觉子系统，然后将若干个这样的装置围绕场地一周，由此形成多个平行双目视觉系统的运动采集装置。

3.利用权利要求1所述基于多双目立体视觉的运动捕获方法，其特征在于所述步骤(c)包括下述步骤：

(1)手工建立双目视觉下两组视频图像之间的同步对应关系；

(2)初始化双目跟踪器下每个标记点的二维和三维滤波器；

(3)利用二维卡尔曼滤波器预测每组视频的二维图像中标记点在下一帧的位置、速度和加速度，然后利用三维卡尔曼滤波器预测标记点在三维空间中的下一帧的位置、速度和加速度；

(4)根据上一帧中预测的位置和范围，在二维图像中进行标记点跟踪：在预测范围内搜索，获得二维候选标记点，同时利用外极限约束，获得两组视频下二维标记点的对应关系，并计算对应的三维候选标记点；

(5)根据三维立体匹配原则，从三维候选标记点中找到最佳三维候选标记点，作为当前时刻该标记点三维跟踪结果，并修正该标记点的三维卡尔曼滤波器；

(6)根据三维跟踪结果，找出与其对应的二维候选标记点，即为相应的二维跟踪结果，并修正二维卡尔曼滤波器，返回步骤(3)，直至处理完所有标记点；

(7)在双目跟踪器处理完所有标记点后，检测二维图像中新出现的标记点。将双目下两幅二维图像中新出现的所有二维标记点进行组合，获得当前时刻所有可能新出现的三维标记点；

(8)将双目跟踪器所有可能新出现的三维标记点，以及已有所有标记点的三维跟踪轨迹提交多目融合器。

4.利用权利要求1所述基于多双目立体视觉的运动捕获方法，其特征在于所述步骤(d)包括下述步骤：

(1)初始化人体所有标记点的三维轨迹集合；

(2)对每个双目跟踪器正确跟踪的标记点，根据其所在的关节位置标识状态将其轨迹添加到三维轨迹集合中相应的轨迹集中；

(3)对于各双目跟踪器中的新标记点，将其与三维轨迹集合中非空轨迹集的标记点相比，若找到其对应的标记点轨迹，则确定其位置标识，转步骤(5)，否则转步骤(4)；

(4)将新标记点的轨迹与三维轨迹集合中空轨迹集标记点的上一帧卡尔曼预测相比，若找到其对应的标记点轨迹，确定其位置标识，并修改其对应标记点的轨迹集，即进行卡尔曼修正和预测，否则转步骤(7)；

(5)对于当前时刻，三维轨迹集合中轨迹集为空的标记点，将其卡尔曼预测的轨迹添加到当前时刻的轨迹集中，并进行相应修正；

(6)对当前时刻，非空的三维轨迹集合中的所有标记点位置的轨迹集，根据标记点的时空约束关系(即每个标记点的三维位置和速度等信息在各双目下是相同的)取其平均值来消除轨迹差异，确定每个标记点最终三维运动轨迹；

(7)处理异常情况：若双目跟踪器新出现的标记点，融合器无法确定其位置标识，则丢弃此标记点，放弃对其的跟踪。

5.利用权利要求1所述基于多双目立体视觉的运动捕获方法，其特征在于所述步骤(e)包括下述步骤：

(1)对双目跟踪器中出现遮挡现象的标记点，根据多目融合器反馈的三维跟踪结果，修正双目跟踪器中该标记点的三维卡尔曼滤波器和二维卡尔曼滤波器；

(2)对双目跟踪器中出现的新标记点，根据多目融合器的反馈的新出现的三维标记点及其位置标识，获得其对应的二维标记点坐标，将其二维和三维运动信息添加到双目跟踪器中。若该点连续出现四帧以上，则初始化该点的三维卡尔曼滤波器和二维卡尔曼滤波器。然后，跳转步骤(c)的步骤(3)，直至完成所有视频中的标记点跟踪。