[发明专利]语义空间地图构建方法及装置

说明书

本发明提供一种语义空间地图构建方法及装置，方法包括获取多幅图像的图像数据；若判断获知多幅图像的图像数据中存在特征点和语义特征点，则根据多幅图像的图像数据获取每个特征点的位置、每个特征点的描述信息、每个语义特征的位置和语义信息；根据每个特征点的描述信息对多幅图像间特征点的位置进行匹配，获取图像间的特征点匹配集，根据每幅图像中语义特征点的语义信息对多幅图像间语义特征的位置进行匹配，获取图像间的语义特征匹配点集；根据两个匹配集获取每个特征点和每个语义特征点对应的三维空间位置，并据此和每个语义特征的语义信息构建待建立地图的场景的语义空间地图。本发明构建出了空间地图和语义地图的语义空间地图。

技术领域

本发明涉及计算机处理技术领域，特别涉及一种语义空间地图构建方法及装置。

背景技术

现有技术采用运动恢复结构的方法，通过对多幅场景图像进行处理进行三维重建，从而构建出环境的三维空间地图。以上几个步骤仅仅获得了关于相机位姿以及场景中特征点空间位置的一个初始的估计，想要得到最终的关于相机位姿和特征点位置的精确解还需要一个优化的过程，现有技术大多采用光束法平差来进行全局优化。光束法平差过程中将相机位姿和特征点空间位置作为状态向量，将观测值作为约束，构造关于状态向量的目标函数，得到一个最小二乘问题，对该最小二乘问题进行求解，最终得到状态向量的最优解，也即最终输出的空间地图。

现有技术所构建的空间地图，只包含特征点的空间信息，不包含任何的语义信息，使得用户或上层任务无法在语义层面与地图进行交互，因此其价值并不大。

发明内容

本发明提供一种全部或至少部分解决上述技术问题的一种语义空间地图构建方法及装置。

第一方面，本发明提供一种语义空间地图构建方法，包括：

获取多幅图像的图像数据；所述多幅图像是由摄像设备对待建立地图的场景拍摄得到的；

若判断获知所述多幅图像的图像数据中存在特征点和语义特征点，则根据所述多幅图像的图像数据，采用预设检测方法获取每个特征点的位置、每个特征点的描述信息、每个语义特征的位置和每个语义特征的语义信息；

根据所述每个特征点的描述信息对多幅图像间特征点的位置进行匹配，获取图像间的特征点匹配集，并根据每幅图像中语义特征点的语义信息对多幅图像间语义特征的位置进行匹配，获取图像间的语义特征匹配点集；

根据所述图像间的特征点匹配集和图像间的语义特征匹配点集，获取每个特征点和每个语义特征点对应的三维空间位置；

根据所述每个特征点、每个语义特征点对应的三维空间位置和每个语义特征的语义信息，构建待建立地图的场景的语义空间地图。

优选的，根据所述图像间的特征点匹配集和图像间的语义特征匹配点集，获取每个特征点和每个语义特征点对应的三维空间位置，包括：

根据所述图像间的特征点匹配集和图像间的语义特征匹配点集，获取每幅图像对应的摄像设备的位姿信息；所述位姿信息包括位置信息和姿态信息；

根据所述每幅图像对应的摄像设备的位姿信息、图像间的特征点匹配集和图像间的语义特征匹配点集，获取每个特征点和每个语义特征点对应的三维空间位置。

优选的，根据所述图像间的特征点匹配集和图像间的语义特征匹配点集，获取每幅图像对应的摄像设备的位姿信息，包括：

根据所述图像间的特征点匹配集和图像间的语义特征匹配点集，获取每幅图像对应的本质矩阵或基础矩阵；

根据每幅图像对应的本质矩阵或基础矩阵，获取每幅图像对应的摄像设备的旋转矩阵和平移矩阵；

根据每幅图像对应的摄像设备的旋转矩阵和平移矩阵，获取每幅图像对应的摄像设备的位姿信息。