[发明专利]终端的位姿跟踪方法、AR渲染方法及设备、存储介质

说明书

本申请实施例提供了一种终端的位姿跟踪方法、AR渲染方法及设备。浏览器主线程调用视觉传感器按照第一预定频率采集图像数据；将采集到的图像数据转换为灰度图；调用web worker实时构建每帧灰度图的图像金字塔，并实时计算每层图像的光梯度；web worker以WebAssembly方式加载SLAM解算模块；在位姿跟踪初始化阶段，SLAM解算模块针对当前帧灰度图提取图像点信息，设置伪深度值，进行位姿跟踪初始化；位姿跟踪初始化完成后，SLAM解算模块对图像金字塔中每层图像划分图像块，使用极限搜索算法跟踪图像块，恢复出旋转矩阵和平移向量，通过BA优化确定当前位姿。

技术领域

本申请实施例涉及位姿跟踪技术领域，尤其涉及一种终端的位姿跟踪方法、AR渲染方法及设备、存储介质。

背景技术

增强现实(Augmented Reality，AR)技术是一种将虚拟信息与真实世界融合展示的技术，其广泛运用了人工智能、三维建模、实时跟踪注册、虚实融合、智能交互、传感计算等多种技术手段，将计算机生成的文字、图像、三维模型、音频、视频、动画等虚拟信息模拟仿真后，应用到真实世界的展示中。增强现实技术同时考虑了真实世界与虚拟信息的相互关系，虚实信息互为补充，从而实现对真实世界的增强。

实时跟踪移动终端6DoF(6Degree of Freedom，6自由度)位姿是包括无标记(Markerless)增强现实技术(Augmented Reality，AR)在内的诸多技术的核心基础。

当前在移动终端实现位姿跟踪的过程如下：通过移动终端的摄像头采集场景图像、通过IMU(Inertial Measurement Unit,惯性测量单元)采集IMU数据(包括移动终端的直线加速度和角加速度)，融合场景图像的数据和IMU数据解算出移动终端的6DoF位姿，建立世界坐标系，实现移动终端的运动跟踪，渲染虚拟元素到世界坐标系中，通过将渲染虚拟元素的摄像机与移动终端的摄像头对齐即可实现虚拟融合的增强现实功能。

其中，实现设备位姿跟踪的过程也称为SLAM(Simultaneous Localization AndMapping，即时定位与建图)。由于SLAM算法对计算资源要求严格，现有移动终端位姿跟踪实现方案均为APP(Application，应用程序)方式，图像与IMU数据采集、前端里程计的实现和优化计算等操作均在移动终端本地完成，未安装APP的用户无法使用基于SLAM算法的相关功能(如AR功能)，极大限制了相关功能的适用范围和分享传播。

发明内容

本申请实施例提供一种移动终端的位姿跟踪方法、AR渲染方法、设备及存储介质，以达到终端用户通过web浏览器实现位姿跟踪及AR渲染的目的。

第一方面，本申请实施例提供一种终端的位姿跟踪方法，应用于移动终端的浏览器，包括：

浏览器主线程调用所述移动终端的视觉传感器按照第一预定频率采集图像数据；

所述浏览器主线程将采集到的图像数据转换为灰度图；

所述浏览器主线程调用web worker实时构建每帧灰度图的图像金字塔，并实时计算所述图像金字塔中每层图像的光梯度；

对于每帧灰度图，所述web worker以WebAssembly方式加载SLAM解算模块；

在位姿跟踪初始化阶段，所述SLAM解算模块针对当前帧灰度图提取图像点信息，设置伪深度值，进行位姿跟踪初始化；

位姿跟踪初始化完成后，所述SLAM解算模块对当前帧灰度图的图像金字塔中每层图像划分图像块，使用极限搜索算法跟踪图像块，使用Lucas Kanade光流跟踪算法恢复出旋转矩阵和平移向量，通过BA优化确定当前位姿。

第二方面，本申请实施例提供一种终端的AR渲染方法，应用于移动终端的浏览器包括：

利用第一方面所述的方法进行位姿跟踪；