[发明专利]终端的位姿跟踪方法、AR渲染方法、设备及存储介质

说明书

本申请实施例提供了一种终端的位姿跟踪方法、AR渲染方法、设备及存储介质。其方法应用于终端设备，包括：浏览器主线程调用所述移动终端的视觉传感器按照第一预定频率采集图像数据；将采集到的图像数据转换为灰度图；调用web worker实时构建每帧灰度图的图像金字塔；对于每帧灰度图，web worker利用web GPU或web GL模块对每帧灰度图的图像金字塔进行实时处理，web GPU或web GL模块用于调用GPU进行并行数据处理；在位姿跟踪初始化阶段，浏览器主线程利用当前实时处理结果进行位姿跟踪初始化，输出初始化结果；位姿跟踪初始化完成后，利用当前实时处理结果确定当前位姿，输出当前位姿数据。

技术领域

本申请实施例涉及位姿跟踪技术领域，尤其涉及一种终端的位姿跟踪方法、AR渲染方法、设备及存储介质。

背景技术

增强现实(Augmented Reality，AR)技术是一种将虚拟信息与真实世界融合展示的技术，其广泛运用了人工智能、三维建模、实时跟踪注册、虚实融合、智能交互、传感计算等多种技术手段，将计算机生成的文字、图像、三维模型、音频、视频、动画等虚拟信息模拟仿真后，应用到真实世界的展示中。增强现实技术同时考虑了真实世界与虚拟信息的相互关系，虚实信息互为补充，从而实现对真实世界的增强。

实时跟踪移动终端6DoF(6Degree of Freedom，6自由度)位姿是包括无标记(Markerless)增强现实技术(Augmented Reality，AR)在内的诸多技术的核心基础。

当前在移动终端实现位姿跟踪的过程如下：通过移动终端的摄像头采集场景图像、通过IMU(Inertial Measurement Unit,惯性测量单元)采集IMU数据(包括移动终端的直线加速度和角加速度)，融合场景图像的数据和IMU数据解算出移动终端的6DoF位姿，建立世界坐标系，实现移动终端的运动跟踪，渲染虚拟元素到世界坐标系中，通过将渲染虚拟元素的摄像机与移动终端的摄像头对齐即可实现虚拟融合的增强现实功能。

其中，实现设备位姿跟踪的过程也称为SLAM(Simultaneous Localization AndMapping，即时定位与建图)。由于SLAM算法对计算资源要求严格，现有移动终端位姿跟踪实现方案均为APP(Application，应用程序)方式，图像与IMU数据采集、前端里程计的实现和优化计算等操作均在移动终端本地完成，未安装APP的用户无法使用基于SLAM算法的相关功能(如AR功能)，极大限制了相关功能的适用范围和分享传播。

目前常见的浏览器有标记(Marker)增强现实实现方案是采用图像作为识别物的识别方案，即使用类二维码的黑边图作为识别Marker或者经过训练的自然图像。这种方案虽然能在移动浏览器端以较高帧率实时运行，但由于需要事先制作跟踪图像，因此不易于推广，也无法实现6DoF设备位姿跟踪。

发明内容

本申请实施例提供一种移动终端的位姿跟踪方法、AR渲染方法、设备及存储介质，以达到终端用户通过web浏览器实现位姿跟踪及AR渲染的目的。

第一方面，本申请实施例提供一种移动终端的位姿跟踪方法，应用于移动终端的浏览器，包括：

运行在所述移动终端CPU上的浏览器主线程调用所述移动终端的视觉传感器按照第一预定频率采集图像数据；

所述浏览器主线程将采集到的图像数据转换为灰度图；

所述浏览器主线程调用运行在所述移动终端CPU上的web worker实时构建每帧灰度图的图像金字塔；

对于每帧灰度图，所述web worker利用运行在所述移动终端CPU上的web GPU或web GL模块对每帧灰度图的图像金字塔进行实时处理，所述web GPU或web GL模块用于调用所述移动终端的GPU进行并行数据处理；