[发明专利]基于视觉与激光雷达融合的海上浮码头检测方法及系统

权利要求书

1.一种基于视觉与激光雷达融合的海上浮码头检测方法，其特征在于，包括以下具体步骤：

步骤1：标定相机内参和相机-激光雷达外参，建立激光雷达坐标系与像素坐标系之间的空间关系；

步骤2：获取海上图像数据，根据标定后的相机内参对所述海上图像数据进行图像去畸变和数据标注预处理，获得预处理图片及对应的标注文件；

步骤3：将预处理图片输入改进基础神经网络模型中，所述改进基础神经网络模型的基础神经网络提取图片特征，将提取的图片特征经过所述改进基础神经网络模型的YOLO卷积层进行非线性变化后，输出目标检测结果；

所述改进基础神经网络模型的训练过程为：

步骤31：所述预处理图片和对应的所述标注文件构成训练数据集，所述训练数据集划分为训练集和验证集；

步骤32：将所述训练集输入基础神经网络用于训练，训练和测试平台为Darknet，训练不少于20epoch，待网络损失函数不再下降时，停止训练，获得并保存网络模型；所述验证集用于测试网络输出泛化能力和调整网络超参数，将验证集输入训练后的网络模型，获取检测结果，根据所述验证集计算mAP评价指标评估所述网络模型的泛化能力，以调整所述网络模型的网络超参数，训练所用损失函数如下所示：

其中，S代表预处理图片的大小；B代表所有预测出来的检测框的集合，由解析网络输出获得；C代表所有要检测分类的类别集合；x_i，y_i为预测目标中心位置的横纵坐标；ω_i与h_i分别为检测框的目标框线的宽与高；p_i(c)为当前区域内目标属于不同类别的概率；上标^表示对应预测的真实值；代表若该处检测框有物体，则等于1，反之等于0；代表若该处检测框没有物体，则等于1，反之等于0；λ_coord，λ_noobj均为权重值；

步骤33：将调整网络超参数后的网络模型作为新的基础神经网络进行训练，重复步骤32直至预设的循环次数，获得若干网络模型，根据mAP评价指标选取泛化效果最好的所述网络模型为最优模型，再将训练数据集输入最优模型进行训练，得到最终的改进基础神经网络模型；

步骤4：利用所述步骤1获得的相机内参和相机-激光雷达外参，将激光雷达在激光雷达坐标系下测得的距离和方位信息，分别转换为像素坐标系下的距离和方位信息，结合所述步骤3输出的目标检测结果，获得目标空间信息。

2.根据权利要求1所述的基于视觉与激光雷达融合的海上浮码头检测方法，其特征在于，所述步骤1中获取相机内参是为了图像去畸变处理，将激光雷达在激光雷达坐标系下获得的激光雷达点云投影至像素平面；获取相机-激光雷达外参是为了建立激光雷达坐标系与像素坐标系之间的空间关系，以进行数据融合；

标定相机内参过程：打印AprilGrid标定板，将AprilGrid标定板正对相机前方，移动标定板到设定距离，使得相机图像能包含整个标定板，使用Kalibr标定软件获取相机图像上的角点，对角点进行标定，获得相机内参K和镜头畸变参数；

标定相机-激光雷达外参过程：打印棋盘格标定板，将棋盘格标定板正对激光雷达与相机，保持不动；在ROS框架下，利用RVIZ可视化激光雷达点云，在激光雷达点云和相机图像上选取9对棋盘格角点，对提取出的9对角点结合相机内参K，通过OpenCV库中的EPNP算法求解相机-激光雷达之间的位姿变换矩阵

3.根据权利要求2所述的基于视觉与激光雷达融合的海上浮码头检测方法，其特征在于，建立激光雷达坐标系与像素坐标系之间的空间关系的过程为：在实船进行相机-激光雷达外参标定时，相机朝向指向海上，此时初始位姿为C₀，利用二轴云台实现标定，将相机设置在二轴云台上；

步骤11：将相机偏转至朝向船内的方向，记录此刻相机位姿为C₁；

步骤12：放置棋盘格标定板，保持棋盘格标定板相对于相机静止，进行相机外参标定，获得相机-激光雷达之间的位姿变换矩阵此时由云台传感器获得相机在C₁位姿相对于初始位姿C₀的姿态

步骤13：根据空间关系，由下式获取相机方向朝向海上的初始时刻相对激光雷达的外参

其中，为姿态的转置。