[发明专利]终端的位姿跟踪方法、AR渲染方法、设备及存储介质

权利要求书

1.一种终端的位姿跟踪方法，应用于移动终端的浏览器，其特征在于，包括：

运行在所述移动终端CPU上的浏览器主线程调用所述移动终端的视觉传感器按照第一预定频率采集图像数据；

所述浏览器主线程将采集到的图像数据转换为灰度图；

所述浏览器主线程调用运行在所述移动终端CPU上的web worker实时构建每帧灰度图的图像金字塔；

对于每帧灰度图，所述web worker利用运行在所述移动终端CPU上的web GPU或web GL模块对每帧灰度图的图像金字塔进行实时处理，所述web GPU或web GL模块用于调用所述移动终端的GPU进行并行数据处理；

在位姿跟踪初始化阶段，所述浏览器主线程利用当前实时处理结果进行位姿跟踪初始化，输出初始化结果；

位姿跟踪初始化完成后，所述浏览器主线程利用当前实时处理结果确定所述移动终端的当前位姿，输出当前位姿数据。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述浏览器主线程调用所述移动终端的运动传感器按照第二预定频率采集运动数据；

所述浏览器主线程利用当前实时处理结果进行位姿跟踪初始化，包括：所述浏览器主线程利用当前实时处理结果和指定运动数据进行位姿跟踪初始化，所述指定运动数据包括当前帧灰度图与前一帧灰度图之间采集到的运动数据；

所述浏览器主线程利用当前实时处理结果确定所述移动终端的当前位姿，包括：所述浏览器主线程利用当前实时处理结果和指定运动数据确定所述移动终端的当前位姿。

3.根据权利要求2所述的方法，其特征在于，所述web worker利用运行在所述移动终端CPU上的web GPU或web GL模块对每帧灰度图的图像金字塔进行实时处理，包括：

所述浏览器主线程将所述图像金字塔中的每层图像分别发送给一个所述web worker；

每个所述web worker分别初始化一个所述web GPU或web GL模块；

多个所述web GPU或web GL模块并行运行，分别使用GPU对各层图像进行实时处理。

4.根据权利要求3所述的方法，其特征在于，所述多个所述web GPU或web GL模块并行运行，分别使用GPU对各层图像进行实时处理，包括：多个所述web GPU或web GL模块并行运行，分别使用GPU提取各层图像的ORB特征点提取以及BRIEF描述子；

所述web worker利用运行在所述移动终端CPU上的web GPU或web GL模块对每帧灰度图的图像金字塔进行实时处理，还包括：所述web worker对ORB特征分布进行均衡化处理。

5.根据权利要求1～4任一项所述的方法，其特征在于，所述浏览器主线程利用当前实时处理结果进行位姿跟踪初始化的过程包括：所述浏览器主线程利用当前实时处理结果构建三维点云地图以及关键帧链表，利用所述三维点云地图和所述关键帧链表构建全局本征图，利用所述关键帧列表构建全局生成树；

位姿跟踪初始化完成后，所述方法还包括：所述浏览器主线程判断是否需要全局优化；若需要全局优化，所述浏览器主线程利用当前全局本征图和当前全局生成树进行全局优化，并利用全局优化结果更新所述三维点云地图、所述关键帧列表和历史位姿，利用更新后的所述三维点云地图和所述关键帧链表更新所述全局本征图，利用更新后的所述关键帧列表更新所述全局生成树。

6.根据权利要求5所述的方法，其特征在于，所述利用全局优化结果更新所述三维点云地图、所述关键帧列表，包括：

利用全局优化结果识别不符合特定约束的噪声点，以及冗余关键帧；

从三维点云地图中删除识别出的噪声点，并从关键帧链表中删除识别出的冗余关键帧。

7.根据权利要求6所述的方法，其特征在于，所述判断是否需要全局优化，包括：

判断距离上一次优化的时间长度是否超过预定时间长度；

和/或，

判断关键帧列表中是否有关键帧删除。