[发明专利]用于执行同步定位与地图构建的设备和方法

权利要求书

1.一种用于执行同步定位与地图构建(Simultaneous Localization and Mapping，SLAM)的设备(100)，其特征在于，所述设备(100)包括至少一个处理器，用于：

-在第一处理阶段(102)，对接收的数据序列(101)进行预处理，以获得帧序列(103)，其中，所述接收的数据序列(101)包括摄像机记录的多个图像和来自多个传感器(501)的传感器读数，

其中，每个帧包括与确定的时间实例处的图像之一相关的视觉特征集和所述时间实例的传感器读数(502)；

-在第二处理阶段(104)，基于所述帧序列(103)的每个帧中包括的所述视觉特征集和所述传感器读数(502)，按顺序处理所述帧，以生成序列映射图(105)；

-在第三处理阶段(106)，将所述序列映射图(105)与至少一个其他图(400)合并，以生成或更新全图(107)。

2.根据权利要求1所述的设备(100)，其特征在于，

视觉特征集包括：图像特征集，所述图像特征集包括从所述相关图像中提取的一个或多个2D关键点；与所述2D关键点对应的描述符；所述2D关键点的视差信息和/或深度信息。

3.根据权利要求2所述的设备(100)，其特征在于，

所述至少一个处理器用于，在所述第一处理阶段(102)：

-从所述数据序列(101)中提取(200)图像；

-校正(201)所述图像；

-从所述校正图像中提取(204)2D关键点；

-基于所述提取的2D关键点生成(206)图像特征集。

4.根据权利要求3所述的设备(100)，其特征在于，

所述至少一个处理器用于，在所述第一处理阶段(102)：

-向所述校正图像的像素分配(203)一个或多个语义标签；

-基于所述语义标签过滤(205)所述图像特征集，以从所述图像特征集中移除与标记为动态对象的对象相关的2D关键点。

5.根据权利要求4所述的设备(100)，其特征在于，

所述至少一个处理器还用于，在所述第一处理阶段(102)：

-通过向所述过滤的图像特征集添加词袋描述符，可选地添加用于搜索所述2D关键点的哈希表，生成(206)视觉特征集；

-通过合并所述视觉特征集与所述图像的同一时间实例的传感器读数(502)，生成(207)帧。

6.根据权利要求1至5中任一项所述的设备(100)，其特征在于，

所述至少一个处理器用于，在所述第二处理阶段(104)：

-基于帧中包括的视觉特征集，通过将所述视觉特征集中的2D关键点与本地存储的3D关键点进行匹配，进行(301)摄像机跟踪，以获得与所述帧相关联的摄像机位姿。

7.根据权利要求6所述的设备(100)，其特征在于，

所述至少一个处理器用于：

-基于匹配的2D关键点数量，确定所述帧是否为关键帧。

8.根据权利要求7所述的设备(100)，其特征在于，

所述至少一个处理器还用于，在所述第二处理阶段(104)，如果确定所述帧为关键帧，则：

-基于所述摄像机位姿执行(303)第一局部光束法平差(Local Bundle Adjustment，LBA)，以获得视觉里程计信息和LBA图；

-基于所述帧中包括的所述视觉里程计信息和所述传感器读数(502)计算(304)融合的摄像机位姿；

-基于所述融合的摄像机位姿和所述LBA图执行(305)第二LBA，以获得所述序列映射图(105)。