[发明专利]激光雷达与相机数据的时空同步系统、装置及可读介质

权利要求书

1.一种激光雷达与相机数据的时空同步系统，其特征在于，包括：FPGA本地时钟校正模块、FPGA与激光雷达同步模块；

FPGA触发相机模块，将包含相机内部时间戳相机的图片，发送至工控机；

相机图片时间戳模块，FPGA接收相机曝光时产生的闪光灯脉冲，给相机图片的曝光时刻标记上FPGA时钟系统下的时间戳，通过串口发送给工控机；

时间戳匹配模块，FPGA触发相机模块发送的带有相机内部时间戳相机图片，以及接收到的FPGA发送的带有FPGA时钟系统下的时间戳的相机图片进行匹配，调整FPGA对相机的触发脉冲频率，添加相机曝光触发脉冲；

点云数据补偿及融合模块，对FPGA与激光雷达同步模块获取的具有时间戳的激光点云数据和带有时间戳的相机图片，利用测量出的运动信息，先对点云数据进行运动畸变补偿，将点云补偿到相机曝光时刻的位置；再根据测量的激光雷达和相机的外参，对采集到的激光三维点云数据和相机图片进行对准融合。

2.根据权利要求1所述的激光雷达与相机数据的时空同步系统，其特征在于，FPGA本地时钟校正模块，组合惯导模块产生的PPS秒脉冲+GPRMC报文传输至FPGA，对本地时钟进行校正；如GNSS信号受阻时，FPGA的自身晶振保持时钟精度。

3.根据权利要求2所述的激光雷达与相机数据的时空同步系统，其特征在于，FPGA与激光雷达同步模块，FPGA发送PPS秒脉冲+GPRMC报文至激光雷达，使激光雷达内部的时钟系统与FPGA的时钟系统同步；激光雷达将具备时间戳的点云数据发送给工控机。

4.根据权利要求3所述的激光雷达与相机数据的时空同步系统，其特征在于，FPGA触发相机模块，FPGA对相机定时发送触发脉冲，脉冲频率与激光雷达的扫描频率一致；设置激光雷达的相位锁定角度与实际安装的相机镜头的视角一致，实现激光雷达和相机数据同步采集；相机的图片，包含相机内部时间戳，发送至工控机。

5.根据权利要求1所述的激光雷达与相机数据的时空同步系统，其特征在于，所述的时间戳匹配模块，FPGA对相机触发同步：设置相机为硬触发模式；FPGA触发信号以固定的时间间隔周期性产生触发脉冲，但每隔更长的时间间隔添加一个相机曝光触发脉冲，使得FPGA曝光时间序列与相机内部时间序列的一一对齐，用以辅助匹配纠错和触发相机曝光；并将对齐后的FPGA时间序列中的时间戳与相应图像数据一起封装。

6.根据权利要求1所述的激光雷达与相机数据的时空同步系统，其特征在于，所述的FPGA与激光雷达同步模块，FPGA对激光雷达授时及设置激光雷达扫描相位与相机拍照同步：在GPS板卡内设定PPS的周期；GPS板卡对FPGA授时，FPGA转发PPS脉冲和GPRMC时间信息给激光雷达；激光雷达检测到第一个PPS到来后，串口解析GPS板卡输出报文GPRMC，得到UTC时间；等待下一个PPS到来时，将解析到的UTC时间整秒加一即为当前时间UTC；根据当前时刻的UTC，对RTC的时间进行校准；

通过上述时钟同步，激光雷达每一帧点云可输出与FPGA同步过的时间标签。

7.根据权利要求1所述的激光雷达与相机数据的时空同步系统，其特征在于，相机图像与激光雷达数据融合时，需要保证在雷达扫描到相应区域时，触发相机对该区域曝光成像；

在PPS脉冲触发的时刻，机械旋转式激光雷达旋转到预设的角度发射激光；

FPGA的触发相机端口的脉冲，与PPS同步，为PPS信号的倍频；利用脉冲对相机进行曝光触发，实现在激光雷达旋转到相应的相位角度时触发相机曝光。