[发明专利]激光雷达与相机数据的时空同步系统、装置及可读介质

说明书

本发明公开了一种激光雷达与相机数据的时空同步系统，包括：FPGA本地时钟校正模块、FPGA与激光雷达同步模块；FPGA触发相机模块将包含相机内部时间戳相机的图片发送至工控机；相机图片时间戳模块，FPGA接收相机曝光时产生的闪光灯脉冲，给相机图片的曝光时刻标记上FPGA时钟系统下的时间戳；时间戳匹配模块，FPGA触发相机模块发送的带有相机内部时间戳相机图片，接收FPGA发送的带有FPGA时钟系统下的时间戳的相机图片进行匹配；点云数据补偿及融合模块，将点云补偿到相机曝光时刻的位置；再根据测量的激光雷达和相机的外参，对点云数据和相机图片进行对准融合。本发明实现相机与激光雷达的同步采集。

技术领域

本发明涉及自动驾驶技术领域，具体涉及车辆激光雷达、相机两种传感器的时间同步与空间对准的方法。

背景技术

目前的自动驾驶系统包括感知、定位、决策规划、控制等模块，这些模块的正常运行需要依靠各种不同类型的传感器数据的准确融合。尤其是激光雷达与相机这两种传感器在感、知定位模块中起着至关重要的作用。机械式旋转扫描激光雷达本身较低的扫描频率，而车辆经常运行在高速、高机动的运动状态下，造成激光雷达测量的点云会产生运动畸变。而在激光雷达与相机图片的融合过程中，也会由于数据采集的不同步造成的一定测量偏差，这个偏差会随着车辆的运动速度增加而被放大。在车辆高速行驶时，即使是微小的时间偏差会对最终的激光点云和图像的时空对准造成影响，进而对融合定位、融合感知等的结果造成很大的偏差，从而影响自动驾驶的安全运行。为了满足自动驾驶系统对安全性和稳定性的高要求，需要保证不同传感器数据融合的准确性和可靠性。现有技术中的无人机电力巡检的多传感器时间同步方法与系统，采用ARM系统进行PPS脉冲的检测和处理，实时性较差，精度不高。不满足自动驾驶领域的需求。

现有技术中的多路高速脉冲输入时间同步设备，采用MCU做为脉冲检测和处理设备，同时进行了RS232到网口的转换，时间同步精度和系统可靠性均不满足自动驾驶需求。

发明内容

1、本发明的目的

本发明为了解决激光雷达与相机的时间同步和空间对准问题，而提出了一种激光雷达与相机数据的时空同步方法。

2、本发明所采用的技术方案

本发明提供了一种激光雷达与相机数据的时空同步系统，包括：FPGA本地时钟校正模块、FPGA与激光雷达同步模块；

FPGA触发相机模块，将包含相机内部时间戳相机的图片，发送至工控机；

相机图片时间戳模块，FPGA接收相机曝光时产生的闪光灯脉冲，给相机图片的曝光时刻标记上FPGA时钟系统下的时间戳，通过串口发送给工控机；

时间戳匹配模块，FPGA触发相机模块发送的带有相机内部时间戳相机图片，以及接收到的FPGA发送的带有FPGA时钟系统下的时间戳的相机图片进行匹配，调整FPGA对相机的触发脉冲频率，添加相机曝光触发脉冲；

点云数据补偿及融合模块，对FPGA与激光雷达同步模块获取的具有时间戳的激光点云数据和带有时间戳的相机图片，利用测量出的运动信息，先对点云数据进行运动畸变补偿，将点云补偿到相机曝光时刻的位置；再根据测量的激光雷达和相机的外参，对采集到的激光三维点云数据和相机图片进行对准融合。

优选的，FPGA本地时钟校正模块，组合惯导模块产生的PPS秒脉冲+GPRMC报文传输至FPGA，对本地时钟进行校正；如GNSS信号受阻时，FPGA的自身晶振保持时钟精度。

优选的，FPGA与激光雷达同步模块，FPGA发送PPS秒脉冲+GPRMC报文至激光雷达，使激光雷达内部的时钟系统与FPGA的时钟系统同步；激光雷达将具备时间戳的点云数据发送给工控机。