[发明专利]栅格地图与光学图像匹配方法和装置

说明书

本申请涉及栅格地图与光学图像匹配方法和装置，包括：获取针对目标范围的雷达点云数据和光学图像数据及与雷达点云数据对应的栅格地图；分别获取雷达点云数据中第一部分数据点在栅格地图中的位置坐标及在光学图像中的位置坐标；基于第一部分数据点及其在栅格地图中的位置坐标得到雷达点云坐标系和栅格地图坐标系的第一映射关系；基于第一部分数据点及其在光学图像中的位置坐标得到雷达点云坐标系和光学图像坐标系的第二映射关系；基于第一映射关系和第二映射关系得到栅格地图坐标系和光学图像坐标系的第三映射关系；基于第三映射关系实现雷达点云数据中第二部分数据点在栅格地图与光学图像之间的匹配。本申请能将栅格地图与光学图像进行匹配。

技术领域

本申请涉及多传感器信息融合标定技术领域，特别是涉及一种栅格地图与光学图像匹配方法和装置。

背景技术

SLAM(Simultaneous Localization and Mapping，同时定位与构图)技术广泛应用于自动驾驶、机器人以及测绘等多个领域，此技术可以依靠单个传感器实现对环境的感知，进行构建地图和实现定位。常用的传感器有激光雷达、毫米波雷达、双目相机、单目相机等。不同传感器具有不同的工作机制，因此具有不同的工作性能。光学相机价格便宜、具有丰富的语义信息，但是容易受恶劣天气、光照的影响，不能做到全天时全天候。相反，毫米波雷达是利用发射毫米波波段的电磁波来工作的，不受天气的影响，但是语义信息少，不直观，因此使用毫米波雷达构建的栅格地图缺少语义信息。将栅格地图与相机获得的图像进行匹配可以增加栅格地图的语义信息，有利于目标检测、分类以及虚假目标的识别等研究。

基于坐标转换的传统传感器标定方法需要多种参数进行标定，例如光学相机的内参、毫米波雷达自身以及传感器间的旋转参数等，除此之外还需要设计大量的标定物，进行多次标定实验。这种方法复杂而且不容易实现。

申请内容

基于此，本申请提供了一种栅格地图与光学图像匹配方法、装置、设备和存储介质，以克服现有技术中栅格地图与光学图像匹配的复杂性，解决毫米波雷达SLAM地图可视性差的问题。

第一方面，提供一种栅格地图与光学图像匹配方法，该方法包括：

获取针对目标范围的雷达点云数据和光学图像数据以及与所述雷达点云数据对应的栅格地图；

分别获取所述雷达点云数据中第一部分数据点在所述栅格地图中的位置坐标以及在所述光学图像中的位置坐标；

基于所述第一部分数据点及其在所述栅格地图中的位置坐标得到雷达点云坐标系和栅格地图坐标系的第一映射关系；基于所述第一部分数据点及其在所述光学图像中的位置坐标得到雷达点云坐标系和光学图像坐标系的第二映射关系；

基于所述第一映射关系和所述第二映射关系得到所述栅格地图坐标系和所述光学图像坐标系的第三映射关系；

基于所述第三映射关系实现所述雷达点云数据中第二部分数据点在所述栅格地图与所述光学图像之间的匹配。

根据本申请实施例中一种可实现的方式，所述获取针对目标范围的雷达点云数据和光学图像数据以及与所述雷达点云数据对应的栅格地图，包括：

通过固定于移动承载平台上的毫米波雷达与光学摄像头，分别获取雷达点云数据和光学图像数据，将所述雷达点云数据进行SLAM算法处理得到栅格地图；

其中，所述毫米波雷达与所述光学摄像头的几何位置固定。

根据本申请实施例中一种可实现的方式，所述第一映射关系和所述第二映射关系基于单应性变换得到。

根据本申请实施例中一种可实现的方式，所述基于所述第一映射关系和所述第二映射关系得到所述栅格地图坐标系和所述光学图像坐标系的第三映射关系包括：