[发明专利]基于多Kinect的全方位人体追踪方法及处理设备

说明书

本发明涉及计算机图形处理领域，提出了一种基于多Kinect的全方位人体追踪方法和设备，旨在解决人体在受到遮挡的环境中，或部分相机角度不佳等原因造成的信息缺失而无法获取完整运动信息的问题。该方法的具体实施方式包括：接收终端设备所发送的人体骨架的骨架数据；匹配该骨架数据，根据匹配结果将属于同一人的骨架数据分为一组；根据该骨架数据和该骨架数据所对应人体骨架的历史数据确定出各人体骨架的骨架图像为正面或为反面，并对所确定的骨架图像进行翻转处理；对所确定的骨架图像进行惯性处理，确定该人体骨架的位置和运动姿势。该实施方式实现了对人体骨架稳定连续的追踪。

技术领域

本发明涉及计算机图形视觉领域，具体涉及计算机图形处理领域，特别涉及一种基于多Kinect的全方位人体追踪方法及处理设备。

背景技术

随着计算机图形视觉技术的发展以及人机交互技术的发展，及时将检测或监控到物体或人物的姿势或动作正确完整的显示出来，变得越来越重要。基于微软Kinect传感器能够实时获取人体的图像信息，捕捉分析人体动作信息，以及根据所获取的人体动作信息控制相关设备或控制机器人的行动等。

由于kinect捕捉范围与角度的限制，单台kinect捕捉信息由于物体自身及物体之间的遮挡关系，造成深度及可视化信息的缺失而大大降低了捕捉的精度与效果。使用多台Kinect组成的动作捕捉系统，可以提供一个更大的视野范围，当人体在一个Kinect的视野范围内因为遮挡而消失时，系统仍然可以通过其他Kinect继续捕捉人体的运动。Nunez与Cabido等人提出了一种通过多台Kinect数据合并后求平均值的方法，但是简单地合并各设备捕捉到的人体动作数据得到的结果并不够准确和稳定。Liang Shuai等人提出了一个复杂的基于椭圆体人体运动模型的多Kinect人体动作捕捉算法取得了较好的动作捕捉效果，但是实时性受到极大的限制，仅能达到每秒一到五帧的速度。

发明内容

为了解决现有技术中的上述问题，即在保持较高的捕捉速度以达到实时性要求的同时解决多Kinect传感器环境下追踪人体时的误差较大、运动数据不稳定的问题，本发明采用以下技术方案以解决上述问题：

第一方面，本申请提供了基于多Kinect的全方位人体追踪方法，该方法包括：接收终端设备所发送的人体骨架的骨架数据；匹配上述骨架数据，根据匹配结果将属于同一人的骨架数据分为一组；根据上述骨架数据和上述骨架数据所对应人体骨架的历史数据确定出各人体骨架的骨架图像为正面或为反面，并对所确定的骨架图像进行翻转处理；对所确定的骨架图像进行惯性处理，确定上述人体骨架的位置和运动姿势。

在一些示例中，上述方法还包括校准终端设备的方法，包括：从各终端获取同一人的多帧骨架数据；比较各终端设备中骨架数据的可信度，选出上述多帧骨架数据的可信度最高的终端设备为参考终端设备，确定上述参考终端设备的坐标系作为参考坐标系；根据各非参考终端的骨架数据中关节点的坐标和参考终端的骨架数据中关节点的坐标的差异，以及各关节点在各终端的权重确定出上述各非参考终端与上述参考终端之间坐标系的变换校准矩阵。

在一些示例中，上述确定出各上述非参考终端与上述参考终端之间坐标系的变换校准矩阵，其方法为：应用最小优化算法，计算如下公式中D值最小时的变换校准矩阵M_i：其中，i＝2,3,4…，n表示关节点数，v_ij表示第i台终端设备获取的骨架数据中骨架的第j个关节的坐标，v_1j表示被作为参考终端设备获取的骨架数据的骨架的第j个关节的坐标，w_ij表示第i台终端设备获取的骨架数据中骨架的第j个关节的权重，w_1j表示参考终端设备获取的骨架数据的骨架的第j个关节的权重。