[发明专利]一种增强现实一体机手柄跟踪算法

说明书

本发明公开了一种增强现实一体机手柄跟踪算法，其算法包括以下步骤：A、将头盔IMU数据和位姿以及手柄MIU预积分数据均输入到头盔四目图像信息内；B、对数据检测和处理后数据同步；C、手柄光点检测并判断是否有初始位姿；D、没有，则以两个光点做基遍历第三个光点，并筛选正确的匹配，同时，根据匹配解算位姿判断光点数量是否3；E、当光点数量4时，采用位姿解算法1，其他情况，则采用位姿解算法2。本发明可获取超过1000HZ的手柄惯性测量单元原始信息，能够用于手柄跟踪算法估计和手柄位姿估计，能有效降低手柄跟踪算法的功耗，提升手柄位姿估计的鲁棒性能，能够实现手柄稳定跟踪，并给用户鲁棒的位姿估计。

技术领域

本发明涉及增强现实技术领域，具体为一种增强现实一体机手柄跟踪算法。

背景技术

随着计算计算机视觉的发展，虚拟现实(Virtual Reality，VR)和增强现实((Augmented Reality，AR)技术已经发展成一项全新的实用技术，虚拟现实技术囊括计算机、电子信息、仿真技术，通过计算机模拟虚拟环境从而给人以环境沉浸感，增强现实一体机主要包含增强现实眼镜和双手柄，需要给用户提供增强现实眼镜和双手柄稳定6自由度(Degree of Freedom，DOF)或者3自由度位姿。

现有技术存在的问题和缺点：1、现有的手柄跟踪算法通过无线传输手柄的惯性测量单元数据不能超过300HZ的数据，将无法获取超过1000HZ原始数据信息，无法提供鲁棒的原始数据，不能给用户提供很好的沉浸体验；2、现有的手柄跟踪算法功耗较高，会出现卡帧或者丢失位姿的情况，还容易在系统资源调度中耗费大量资源，且现有跟踪算法跟踪不够牢固，在甩出视野或者遮挡情况下容易丢失，不能快速恢复。

发明内容

本发明的目的在于提供一种增强现实一体机手柄跟踪算法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种增强现实一体机手柄跟踪算法，其算法包括以下步骤：

A、将头盔IMU数据和位姿以及手柄MIU预积分数据均输入到头盔四目图像信息内；

B、对数据检测和处理后数据同步；

C、手柄光点检测并判断是否有初始位姿；

D、没有，则以两个光点做基遍历第三个光点，并筛选正确的匹配，同时，根据匹配解算位姿判断光点数量是否3；

E、当光点数量4时，采用位姿解算法1，其他情况，则采用位姿解算法2；

F、通过位姿解算法1和位姿解算法2筛选解算位姿，并在结束后进行重力筛选，当有3帧满足重力约束条件时，则冷启动成功；

G、当手柄光点检测并判断有初始位姿时，则判断状态是否稳定；

H、不稳定，则采用blob identify操作，并获取手柄3DOF信息后进行筛选位姿，且在筛选位姿成功后进行热启动；

I、当手柄光点检测并判断有初始位姿，且初始位姿状态稳定时进行位姿预测操作；

J、对极约束删除外点并采用t-PNP方式剔除外点，最后进行光电确认操作；

K、当匹配数量4时，采用求解旋转和平移方式；

L、当匹配数量不大于4时，采用固定旋转，只求解平移的方式；

M、计算视觉协方差并计算视觉协方差的熵，最后对视觉协方差发散验证和修正；

N、采用IMU Propagation方式获取Propagation结果和协方差，且获取Propagation结果和协方差以及获取视觉观测结果和协方差均进行ESKF(Error StateKalman Filter,误差状态卡尔曼滤波器)融合，并在状态更新后结束。