[发明专利]基于视觉与激光雷达融合的海上浮码头检测方法及系统

说明书

本发明公开了一种基于视觉与激光雷达融合的海上浮码头检测方法及系统，首先通过标定相机内参和相机‑激光雷达外参，建立各坐标系之间的空间转换关系，其次，获取海上图像数据，利用相机内参对图像数据进行去畸变和数据标注预处理，获得预处理图片，然后，将预处理图片输入到基础神经网络中提取体图片特征，经过卷积层的非线性变化后，得到检测结果；最后利用标定的参数融合激光雷达采集的数据，获得检测结果中目标的空间信息。

技术领域

本发明涉及目标检测技术领域，更具体的说是涉及一种基于视觉与激光雷达融合的海上浮码头检测方法及系统。

背景技术

目前，伴随着各领域内高科技的交叉融合应用，智能设备的研究得到了快速迅猛的发展，在智慧交通领域，自动驾驶伴随着技术的发展应运而生。智能化技术不仅在陆地、空天领域应用广泛，在航海领域的应用也越来越重要和普遍，如船舶的水上智能航行，未知海域的探索等，智能化技术具有巨大的民用、军用价值。码头检测作为船舶智能化中的重要一环，目的是给船舶提供码头信息，为船舶自主靠泊提供信息支撑，其自主性、鲁棒性、精确性还有待提高。

近年来的海上目标检测领域，针对的目标主要是海上的船只、浮标等物体，但对浮码头的检测缺乏研究，特别是仅用图像信息进行检测是无法得到目标的空间位置的，而在自动靠泊过程中，获取码头的空间位置至关重要，因此，基于视觉与其他测距传感器如激光雷达的融合检测算法至关重要。近年来基于深度学习的目标检测方法被提出，通过训练深度神经网络来获得精度较高的目标检测结果，但其在实用时通常因为运算量大，在嵌入式设备上运行时存在实时性问题，难以满足实际需求。

因此，如何满足浮码头的空间信息实时性检测是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于视觉与激光雷达融合的浮码头检测方法及系统，具有实时性强、精度高、鲁棒性高、泛化能力强等特点，能结合激光雷达获取浮码头空间信息，有效地解决浮码头检测问题，为船舶自动靠泊提供信息支撑。

为了实现上述目的，本发明采用如下技术方案：

一种基于视觉与激光雷达融合的海上浮码头检测方法，包括以下具体步骤：

步骤1：标定相机内参和相机-激光雷达外参，建立激光雷达坐标系与像素坐标系之间的空间关系；

步骤2：获取海上图像数据，根据标定后的相机内参对所述海上图像数据进行图像去畸变和数据标注预处理，获得预处理图片及对应的标注文件；

步骤3：将预处理图片输入改进基础神经网络模型中，改进基础神经网络模型中的基础神经网络提取图片特征，将提取的图片特征经过所述改进基础神经网络模型的YOLO卷积层进行非线性变化后，输出目标检测结果；

步骤4：利用所述步骤1获得的相机内参和相机-激光雷达外参，将激光雷达在激光雷达坐标系下测得的距离和方位信息，分别转换为像素坐标系下的距离和方位信息，结合所述步骤3输出的目标检测结果，获得目标空间信息。

优选的，所述步骤1中获取相机内参是为了图像去畸变处理，将激光雷达在激光雷达坐标系下获得的激光雷达点云投影至像素平面；获取相机-激光雷达外参是为了建立激光雷达坐标系与像素坐标系之间的空间关系，以进行数据融合；

标定相机内参过程：打印80cm×80cmAprilGrid标定板，将AprilGrid标定板正对相机前方，移动标定板到适当距离，使得相机图像能包含整个标定板获取一系列角点，使用Kalibr标定软件获取相机图像上的角点，对角点进行标定，获得相机内参K和镜头畸变参数；