[发明专利]一种基于摄像头和IMU数据混合的实时全身动捕系统、方法

说明书

本发明公开一种基于摄像头和IMU数据混合的实时全身动捕系统、方法，其中方法包括：采集人体的视频帧图像；根据视频帧图像的颜色信息和深度信息预测出3D骨架的关节位置；根据所预测的各人体关节在三维空间中的坐标位置构建出人体骨架模型；通过摄像设备实时获取人体的运动姿态信息；利用捆绑在人体上的各个关节处的IMU节点实时获取相应关节的运动姿态；融合摄像设备和IMU节点获取的关节运动姿态，以校正人体关节的运动姿态；根据校正后的关节运动姿态驱动人体骨架模型运动。本发明集成了视觉动捕技术和IMU惯性测量技术的优点，可有效保证动捕数据的获取精度，确保了驱动人体骨骼模型运动的可靠性和稳定性。

技术领域

本发明涉及动作仿真技术领域，具体涉及一种基于摄像头和IMU数据混合的实时全身动捕系统、方法。

背景技术

近些年，低功耗全身动作捕捉在计算机视觉与自动化等领域都获得了广泛的关注。目前应用较为普遍的动作捕捉方法是通过视觉传感器实时捕捉人体运动姿态数据，然后根据所捕捉的人体运动姿态数据驱动人体骨骼模型运动。该方法具有应用成本低廉、实时性好等优点，但当出现人体部位遮挡时该方法无法准确识别出人体运动姿态，导致驱动人体骨骼模型运动中断，所以该方法存在动捕驱动可靠性和稳定性较差的缺点。

为了解决视觉传感器捕捉动捕数据可靠性和稳定性较差的问题，近些年提出了利用微惯性测量单元(IMU)捕捉动捕数据并驱动人体骨骼模型运动的方法，虽然IMU技术解决了视觉传感器因视觉遮挡而无法驱动人体骨骼模型运动的问题，但IMU动捕方法对高动态的姿态运动响应较差，数据采集精度会随时间推移而下降，而且易受外界环境磁场影响，最致命的缺陷是误差累积和数据漂移，无法长时间使用。

发明内容

本发明的目的在于提供一种基于摄像头和IMU数据混合的实时全身动捕系统、方法，以解决上述技术问题。

为达此目的，本发明采用以下技术方案：

提供一种基于摄像头和IMU数据混合的实时全身动捕系统，包括：

图像采集模块，用于通过摄像设备采集人体的视频帧图像；

骨架关节预测模块，连接所述图像采集模块，用于根据所述视频帧图像的颜色信息和深度信息预测出3D骨架的关节位置；

人体骨架模型构建模块，连接所述骨架关节预测模块，用于根据所预测的各个人体关节在三维空间中的坐标位置构建出人体骨架模型；

人体姿态信息获取模块，用于通过所述摄像设备实时获取人体的运动姿态信息；

IMU关节姿态获取模块，用于利用捆绑在人体上的各个关节处的IMU节点实时获取相应关节的运动姿态；

人体姿态校正模块，分别连接所述人体姿态信息获取模块和所述IMU关节姿态获取模块，用于融合所述摄像设备和所述IMU节点获取的关节运动姿态，以校正人体关节的运动姿态；

人体模型驱动模块，分别连接所述人体骨架模型构建模块、所述人体姿态信息获取模块和所述人体姿态校正模块，用于根据所述摄像设备实时获取的关节运动姿态，和/或经校正后的关节运动姿态驱动所述人体骨架模型运动。

作为本发明的一种优选方案，每个所述IMU节点中包括一用于检测关节运动姿态的IMU芯片和通信连接所述IMU芯片的数据收发器，所述数据收发器将所述IMU芯片检测到的关节运动姿态数据发送给sink节点，所述sink节点将每个所述IMU节点发送的关节运动姿态数据发送给智能终端，所述智能终端根据从所述sink节点处接收到的关节运动姿态数据和所述摄像设备实时获取的关节运动姿态数据对人体姿态进行实时解算，以优化所述人体骨架模型的运动姿态。

作为本发明的一种优选方案，所述IMU芯片的具体型号为MPU 9150，也可以是任意一种带有三轴加速度、三轴陀螺仪和地磁仪的芯片。