[发明专利]用于并行测距和建图的故障检测和恢复的系统和方法

说明书

电子装置(100)在跟踪其运动并构建其环境(112)的地图(417)的同时检测故障状况并从故障状况中恢复。前端运动跟踪模块(210)检测故障状况，同时随时间推移跟踪运动，并将建图数据(312、316)提供给后端建图模块(220)。所述运动跟踪模块在已检测到故障状况时以及在不再检测到故障状况时向所述建图模块指示。所述建图模块从所述建图数据生成地图(417)，并合并所述地图以构建所述环境的三维表示(225)。所述建图模块缓冲或丢弃在故障状况存在期间从所述运动跟踪模块接收的任何建图数据。所述建图模块合并基于在所述故障状况之前和之后接收的建图数据而生成的地图，并将已合并的地图添加到所述环境的三维表示中。

背景

技术领域

本公开总体上涉及成像捕获和处理，并且更具体地，涉及使用捕获的成像的机器视觉。

背景技术

用于增强现实(AR)和虚拟现实(VR)应用的机器视觉和显示技术，例如同步定位和建图(SLAM)、运动结构(SFM)、视觉惯性里程计(VIO)和视觉惯性建图，通常依赖于通过分析由装置所捕获的本地环境成像来识别装置的本地环境中的对象。为了支持这些技术，该装置导航环境，同时同步地构建环境的地图(3D视觉表示)或者增强环境的现有地图。然而，视觉和惯性传感器在跟踪运动时会出现故障，导致在基于跟踪运动构建环境地图中出现延迟或不准确。这样的延迟和不准确会因此限制机器视觉技术的实用性和有效性。

附图说明

通过参考附图，可以更好地理解本公开，并且本公开的许多特征和优点对于本领域技术人员来说是显而易见的。在不同的附图中使用相同的参考符号表示相似或相同的项目。

图1是示出了根据本公开的至少一个实施例的电子装置的图，该电子装置被配置为在构建本地环境的地图的同时使用基于非图像传感器数据和图像传感器数据生成的姿势信息来估计电子装置在本地环境中的姿势时检测故障状况，并且一旦故障状况已经解决则恢复。

图2是示出根据本公开的至少一个实施例的、图1的电子装置的具有故障检测和恢复的建图器的图，该建图器被配置为在估计电子装置的当前姿势并更新环境地图以定位估计的当前姿势时，检测视觉和惯性传感器数据中的故障并从故障中恢复。

图3是示出根据本公开的至少一个实施例的、图2的具有故障检测和恢复的建图器的运动跟踪模块的图，该运动跟踪模块被配置为生成故障指示符和包括环境中的对象的空间特征的特征描述符的建图数据，并将其传输到图2的具有故障检测和恢复的建图器的建图模块，以在故障状况期间中断更新环境的地图。

图4是示出根据本公开的至少一个实施例的、图2的具有故障检测和恢复的建图器的建图模块的图，该建图模块被配置为基于包括生成的特征描述符的建图数据生成地图并将其合并到电子装置的环境的三维表示，并且缓冲或丢弃在故障状况期间接收的建图数据。

图5是示出根据本公开的至少一个实施例的、图2的具有故障检测和恢复的建图器的定位模块的图，该定位模块被配置为生成电子装置的经过定位的姿势。

图6是示出根据本公开的至少一个实施例的电子装置在跟踪运动和更新环境的三维表示的同时检测故障状况并从故障状况恢复的操作的流程图。

具体实施方式

以下描述旨在通过提供多个具体实施例和细节来传达对本公开的透彻理解，这些具体实施例和细节涉及当基于电子装置的本地环境中的对象的基于图像的识别来确定电子装置的相对位置或相对取向时的故障状况的检测和从故障状况中的恢复。然而，应当理解，本公开不限于这些仅是示例的具体实施例和细节，并且因此本公开的范围仅由所附权利要求及其等同物限定。还应理解，根据已知的系统和方法，本领域普通技术人员将理解，根据具体设计和其他需要，本公开在任何数量的替代实施例中用于其预期目的和益处。