[发明专利]一种利用红外传感器和可见光传感器构建栅格地图的方法

说明书

本发明公开了一种利用红外与可见光传感器构建栅格地图的方法，属于图像处理和计算机视觉领域。利用严谨的配准策略完成传感器配准，从硬件的层次提升系统效率。利用GPU构建高性能运算平台，并构建高性能求解算法构建栅格地图。系统容易构建，程序简单，易于实现；利用红外与可见光传感器，可以达到全天候使用，算法鲁棒性强精度高。

技术领域

本发明属于图像处理和计算机视觉领域。涉及一种利用红外与可见光传感器构建栅格地图的方法。利用红外与可见光传感器的特性，并利用像素级配准完成图像快速融合，结合各传感优势相互弥补缺陷。

背景技术

近年伴随着人工智能的发展移动机器人和汽车自动驾驶越来越受到人们的关注，而其中一个需要解决主要的问题就是地图构建。栅格地图是在无人导航中最为常见的一种地图，因而如何构建快速精确的栅格地图成为移动机器人和和无人车中一个十分重要的问题。现阶段主流的方法大致利用三种传感器，可见光相机，深度相机和雷达。三种传感器由于自身的特性存在着不可避免的缺点，可见光相机受光照和纹理影响大，深度相机测距范围有限。抗干扰能力差，激光雷达或毫米波雷达价格昂贵且数据稀疏。由此可见单一传感器构建栅格地图不能完整准确的反映出场景的结构。因此传感器融合成为一种趋势，现阶段存在的融合方案有可见光相机和雷达，使用可见光相机的稠密数据填充雷达的稀疏数据，使用雷达的精确数据修正可见光相机的粗略数据，最终构建可较好反映场景深度图，然后可利用生成的深度图构建栅格地图。但是这样的方案设备成本高，算法中数据融合消耗资源多、实时性较差，而且在夜晚中依然存在可见光相机不可测量的问题。

发明内容

为解决夜晚可视的问题本发明提出使用红外与可见光传感器构建栅格地图的方法，红外相机因其特性可感受物体的散发的红外信息，因此可在夜晚或亮度较低时清晰成像。可以弥补可见光相机不可测量的问题。但是数据融合依然影响算法的执行效率，本文提出的权值状态更新方法融合数据可以提升算法效率。使用复合材料标定板解决多模态传感器标定问题。本发明提出一种高效的利用红外与可见光传感器融合构建栅格地图的方法。

具体技术方案的步骤如下：

1)传感器配准

传感器配准旨在标定传感器位姿，在硬件层次减少软件的计算量提升系统执行效率。因为两种相机不同的成像特性，采用混合材料的标定板进行传感器位姿标定；标定的方法采取张正友标定法，得到传感器位姿为T₁；传感器配准之后两种图像实现理论上的像素级对准；然后使用标定物进行关系修正，两个传感器得到的视差图D_i和D_v，经过相机内参矩阵变换得到点云分别为P_i和P_v，如果点和满足则认为符合位姿关系，统计符合条件的点的数量并要求数量最大，最后得到位姿T₂；最后再使用张正友标定法修正位姿得到结果T；

2)视差图融合

红外相机和可见光相机分别会产生两种视差图D_i和D_v及置信度，利用位姿T融合，本发明的融合策略是根据不同场景赋予测量值权值w。在黑夜或低光条件下红外相机产生的测量结果更为准确，权值相对调高。在白天或光照较好的条件下可见光相机的测量结果更准确，权值相对调高。视差图融合结果为D_f。

3)筛选视线

由视差图D_f变换得到点云P_f，对点云进行筛选；连接三维点q与视线起点o为当前视线l，o是相机光心在世界坐标系的位置，如果q的高度比o大h则剔去视线，保留的视线会投影到栅格地图之中为l′；从O沿着投影线遍历更新栅格的状态直到到达端点Q，O和Q为o点和q点在栅格地图中的投影；

4)更新栅格状态