[发明专利]一种基于摄像头和IMU数据混合的实时全身动捕系统、方法

权利要求书

1.一种基于摄像头和IMU数据混合的实时全身动捕系统，其特征在于，包括：

图像采集模块，用于通过摄像设备采集人体的视频帧图像；

骨架关节预测模块，连接所述图像采集模块，用于根据所述视频帧图像的颜色信息和深度信息预测出3D骨架的关节位置；

人体骨架模型构建模块，连接所述骨架关节预测模块，用于根据所预测的各个人体关节在三维空间中的坐标位置构建出人体骨架模型；

人体姿态信息获取模块，用于通过所述摄像设备实时获取人体的运动姿态信息；

IMU关节姿态获取模块，用于利用捆绑在人体上的各个关节处的IMU节点实时获取相应关节的运动姿态；

人体姿态校正模块，分别连接所述人体姿态信息获取模块和所述IMU关节姿态获取模块，用于融合所述摄像设备和所述IMU节点获取的关节运动姿态，以校正人体关节的运动姿态；

人体模型驱动模块，分别连接所述人体骨架模型构建模块、所述人体姿态信息获取模块和所述人体姿态校正模块，用于根据所述摄像设备实时获取的关节运动姿态，和/或经校正后的关节运动姿态驱动所述人体骨架模型运动。

2.根据权利要求1所述的一种基于摄像头和IMU数据混合的实时全身动捕系统，其特征在于，每个所述IMU节点中包括一用于检测关节运动姿态的IMU芯片和通信连接所述IMU芯片的数据收发器，所述数据收发器将所述IMU芯片检测到的关节运动姿态数据发送给sink节点，所述sink节点将每个所述IMU节点发送的关节运动姿态数据发送给智能终端，所述智能终端根据从所述sink节点处接收到的关节运动姿态数据和所述摄像设备实时获取的关节运动姿态数据对人体姿态进行实时解算，以优化所述人体骨架模型的运动姿态。

3.根据权利要求2所述的一种基于摄像头和IMU数据混合的实时全身动捕系统，其特征在于，所述IMU芯片是MPU 9150，也可以是任意一种带有三轴加速度、三轴陀螺仪和地磁仪的芯片。

4.根据权利要求2所述的一种基于摄像头和IMU数据混合的实时全身动捕系统，其特征在于，所述数据收发器为CC2530型微处理器，也可以是任意一种同样性能的MCU。

5.根据权利要求2所述的一种基于摄像头和IMU数据混合的实时全身动捕系统，其特征在于，通过下式估计所述IMU节点在当前采样时刻采集到的关节运动姿态：

上式中，q_est,t-1表示所述IMU节点在上一次采样时刻采集到的关节运动姿态；

q_est,t表示所述IMU节点在当前采样时刻采集的关节运动姿态；

t为所述IMU节点的采样时间间隔；

表示所述IMU节点利用陀螺仪角速度数据实现对关节运动姿态的更新；

表示经由加速度计和地磁传感器数据计算出的姿态梯度；

f_g,m(g,a,m)表示经由所述加速度计和所述地磁传感器估计出的关节运动姿态；

μ_t为t时刻重力场与地磁场对关节运动姿态的影响程度。

6.根据权利要求5所述的实时全身动捕系统，其特征在于，通过下式(2)计算而得：

上式(2)中，[q₀ q₁ q₂ q₃]为由四元数表示的所述IMU节点在上一采样时刻利用陀螺仪采集到的关节运动姿态；

[ω_x ω_y ω_z]分别表示当前采样时刻IMU节点上沿陀螺仪三个轴向的角速度。

表示当前采样时刻所述IMU节点利用陀螺仪角速度数据估计出的关节运动姿态。