[发明专利]一种智能激光雷达装置、系统及其数据处理方法

说明书

本发明公开了一种智能激光雷达装置、系统及其数据处理方法，所述装置包括单目摄像头、激光雷达、机械构件和嵌入式处理终端，所述单目摄像头、激光雷达和嵌入式处理终端均安装于机械构件上，所述单目摄像头通过摄像头数据线与所述嵌入式处理终端连接，所述激光雷达通过雷达数据线与所述嵌入式处理终端连接，所述嵌入式处理终端通过融合数据线输出处理后的数据。本发明中激光雷达单目摄像头实时信息融合，通过深度学习算法对摄像头数据进行语义分割，通过摄像头和激光雷达的位姿关系进行信息融合，实现智能激光雷达系统，数据通过同一个数据链路输出，提升了系统的模块化以及同步性。

技术领域

本发明涉及自动驾驶领域，具体涉及一种智能激光雷达装置、系统及其数据处理方法。

背景技术

自动驾驶的核心内涵包括定位、感知、决策、执行四个部分, 感知层主要功能是对环境信息和车内信息进行采集与处理，例如车辆的速度，方向，运动姿态和交通状况等，并向决策层输出信息。这一环节涉及到道路边界检测、车辆检测、行人检测等多种技术，所用到的传感器一般有激光雷达、摄像头、毫米波雷达、超声波雷达等。由于各个传感器在设计的时候有各自的局限性，单个传感器满足不了各种工况下的精确感知，想要车辆在各种环境下平稳运行，就需要运用到多传感器融合技术，该技术也是环境感知这一大类技术的关键所在。

激光雷达，是以发射激光束探测目标的位置、速度等特征量的雷达系统。其工作原理是向目标发射探测信号(激光束),然后将接收到的从目标反射回来的信号(目标回波)与发射信号进行比较,作适当处理后,就可获得目标的有关信息,如目标距离、方位、高度、速度、姿态、甚至形状等参数。激光雷达可以十分精准的提供车辆相对于周围环境的空间位置，速度，姿态等信息，但是却弱于识别物体的种类。单目摄像头可以通过深度学习的手段十分方便的进行物体识别，语义分割，为图像进行像素级别的分类。但是弱于距离的识别。将激光雷达和单目摄像头有机组合，互相补充短板，可以形成一个十分具有竞争力的传感器组合，实现智能化的激光雷达，可以同时感知物体的位置，速度，姿态以及物体的种类。

目前激光雷达和单目摄像头的信息融合仅仅是简单的位姿关系变换而形成的信息在不同坐标系的变换。并未形成真正的智能传感器模组并保证摄像头以及激光雷达的信息同步。

发明内容

本发明目的是：提供一种将激光雷达和单目摄像头形成新的智能传感器模组的设计，实现了激光雷达单目摄像头实时信息融合，通过深度学习算法对摄像头数据进行语义分割，通过摄像头和激光雷达的位姿关系进行信息融合，实现智能激光雷达系统，数据通过同一个数据链路输出，提升了系统的模块化以及同步性。

本发明的技术方案是：一种智能激光雷达装置，包括单目摄像头、激光雷达、机械构件和嵌入式处理终端，所述单目摄像头、激光雷达和嵌入式处理终端均安装于机械构件上，所述单目摄像头通过摄像头数据线与所述嵌入式处理终端连接，所述激光雷达通过雷达数据线与所述嵌入式处理终端连接，所述嵌入式处理终端通过融合数据线输出处理后的数据。

在一个实施例中，所述嵌入式处理终端拥有至少3个CPU。

本发明还提供一种智能激光雷达系统，包括

雷达数据采集模块，采集激光雷达数据，保存于嵌入式处理终端的循环缓冲区，并打上时间戳；

摄像头数据采集模块，采集摄像头数据，保存于嵌入式处理终端的循环缓冲区，并打上时间戳；

语义分割模块，将摄像头数据采集模块采集的摄像头数据经过语义分割模型计算RGB通道图像；

数据同步模块，获取嵌入式处理终端的主线程时间戳，通过时间戳匹配找到对应的激光雷达数据和摄像头数据，通过位姿关系将雷达数据投影到摄像头图像坐标系，将语义分割模块的结果和投影后的激光雷达结果相融合。

本发明还提供一种智能激光雷达数据处理方法，包括以下步骤：