[发明专利]一种基于鱼眼相机与激光雷达融合的矿区目标识别方法

说明书

本发明提出一种基于鱼眼相机与激光雷达融合的矿区目标识别方法，步骤如下：1)信息采集，畸变校正和数据增广；2)特征提取与融合部分：将畸变校正与数据增广后的数据分别使用不同的分支进行特征提取，之后通过基于双线性插值的方法对二者特征进行融合输出；3)目标识别：使用经典RPN结构，通过生成锚框，确定锚框与真实框的映射关系，映射参数学习，非极大值抑制，以及根据分数确定有效候选框这几个重要步骤进行结果输出。本发明集成二者优势，使用融合方式有效地提高无人驾驶在矿区环境下的识别性能，为后续的决策控制模块提供丰富、实时、准确的目标位姿信息，助力无人驾驶落地。

技术领域

本发明涉及环境感知技术领域，尤其涉及一种基于鱼眼相机与激光雷达融合的矿区目标识别方法，应用于矿区场景下车辆行驶环境的感知。

背景技术

自动驾驶技术在最近几年发展迅猛，国内外已经在部分特定场景下实现了该技术的落地。因矿区具备环境封闭，运输道路较为固定，车辆行驶速度慢等特点，成为了当前备受关注的最适合自动驾驶技术落地的场景之一。感知技术作为自动驾驶研究的基础，为后续的控制与决策模块提供丰富的环境信息。而目标识别又是感知技术中重要的一环，只有检测到目标并实时、准确地反馈目标的类别及位姿信息，才能保证车辆能够进行稳定的驾驶决策。

随着行驶环境越来越复杂，针对单传感器没有办法满足目标识别需求的问题，多种融合方式也已经被提出并应用。例如东南大学提出的一种基于视觉与激光雷达融合的路侧车辆识别方法(李旭,金鹏,朱建潇,等.一种基于视觉与激光雷达融合的路侧车辆识别方法)，使用单目相机与激光雷达在数据层级与特征层级两个方面进行融合识别，得到了相比于单传感器更好地效果；CN111077534A(王栋梁,孙辉,周坤)提出了的一种基于单目摄像头与激光雷达融合的结构装置，该装置将两个传感器在硬件部分进行融合，丰富获取数据的维度，也为进一步提升目标识别的精度做出了贡献。上述两种方法视角固定，因此获取信息的维度都被单目相机较窄的视场角所限制，而这也导致了感知信息不足，盲区大等问题，进而造成交通事故。

为解决这一问题，镭神公司提出了一种单目相机与激光雷达融合的系统CN110376598A(胡小波,王世忠)，通过移动摄像头并与激光雷达实时匹配，以达到采集周围360度环境信息的目的，突破了单目相机视场角的限制。但这种方法在矿区应用时，受限于矿车的庞大体积及其不规则的形状，360度的投影模式会造成更多的盲区，同时此方法成本较高不适合矿区场景下大规模推广。

为了能够适应矿区扬尘大，光照强的环境特点，本发明选取视觉与激光雷达融合的方案。为了控制成本的同时得到最大范围的图像信息，选取鱼眼相机作为视觉传感器。鱼眼相机由于其视场角大，图像信息丰富，焦距可调节等优点成为了大受欢迎的视觉传感器，北京汽车集团发明了一种用于车载鱼眼相机的图像处理方法和装置(张建国,彭海娟,路锦文等)，将鱼眼相机的图像通过畸变校正和平面映射后进行深度学习目标识别算法的训练；辽宁石油化工大学提出的一种基于鱼眼相机的障碍物检测方法及装置(于红绯,魏海平,贾银山.一种基于鱼眼相机的障碍物检测方法及装置)，通过俯仰变换进行鱼眼畸变校正后训练深度学习算法。

鱼眼相机在目标识别领域具有较高的实用价值，尤其是一种解决车辆前向感知范围盲区大这一问题的高性价比传感器。但是针对矿区车辆车高体宽盲区超过6米、露天矿区扬尘大、光照强等问题，鱼眼相机在稳定成本的基础上对前向环境有着广范围的感知，效果优于单目相机以及旋转拼接(张建国,彭海娟,路锦文,等.用于车载鱼眼相机的图像处理装置)；激光雷达可以全天候工作，为矿区的目标识别提供丰富的深度信息，是当前各企业都正在应用的解决方案。但是现阶段这两种可以协作解决矿区棘手问题的传感器并没有较好的融合感知方案。

综上所述，本发明要解决的现有技术中存在的技术问题如下：

1.矿区使用的工业级鱼眼相机畸变程度大，使用传统的等距模型畸变校正效果差，除中心部分之外，图像边缘像素存在大程度拉伸问题。

2.点云直接在鱼眼图像上进行投影会出现分布不均匀的情况，尤其在图像边缘处的点云更加稀疏，特征提取效果甚微。