[发明专利]一种基于鱼眼相机与激光雷达融合的矿区目标识别方法

权利要求书

1.一种基于鱼眼相机与激光雷达融合的矿区目标识别方法，其特征在于，所述方法步骤如下：

1)信息采集，畸变校正和数据增广；

a)基于鱼眼相机的图像采集以及基于激光雷达的点云采集两个分支，实时获取矿区行驶过程中的环境信息；

b)软触发时空同步：

采用以激光雷达更新速度为基准的软触发时空同步方式，根据激光雷达10Hz的更新频率对图像进行同步触发，在顺序获取点云的起始时刻捕捉当前时间步的视频流信息，并在点云完成当前更新后进行同步保存，通过ROS将两种数据打包成一个bag包；

c)图像畸变校正：

计算得到两套不同的畸变参数，分别是用于图像畸变矫正效果更好的五维向量[k₁，k₂，k₃，p₁，p₂]以及用于点云畸变添加的四维向量[k₁，k₂，k₃，k₄]；

分别处理图像的径向畸变与切向畸变；

d)数据增广、点云添加畸变：

将OpenCV库中的鱼眼相机畸变模型进行替换，将等投影模型，投影长度r_d＝fθ，替换成体视投影模型和点云添加畸变及投影过程如下：

i.三维点云空间点P，坐标记为X，通过一般投影至图像坐标系得到的坐标为[a，b]；

其中，R为点云至图像的旋转矩阵，T为平移矩阵，S为整体的转换矩阵；

ii.通过体视投影模型给点云施加畸变；

r²＝a²+b²

θ＝atan(r)

θ_d＝θ(1.15+k₁θ+k₂θ³+k₃θ⁵+k₄θ⁷)

其中[k₁，k₂，k₃，k₄]是鱼眼相机通过OpenCV计算出来的畸变系数；

iii.将畸变之后的坐标调整至像素坐标系[u，v]；

u＝f_x(x′+αy′)+c_x

v＝f_xay′+c_y

其中c_x，c_y为图像中心的像素坐标，f_x，f_y是相机的焦距；

至此点云已添加畸变，并且可以与矿区在用工业级鱼眼相机进行匹配，供后续特征提取与目标识别；

2)特征提取与融合部分：

将畸变校正与数据增广后的数据分别使用不同的分支进行特征提取，之后通过基于双线性插值的方法对二者特征进行融合输出；

融合部分以原始图像为基准，分别将点云特征信息和图像特征信息通过刚性转换投影至原始图像，在原始图像每个像素位置进行双线性插值获取近邻四个像素点的图像特征与点云特征作为融合特征输出；

3)目标识别：

使用经典RPN结构，通过生成锚框，确定锚框与真实框的映射关系，映射参数学习，非极大值抑制(NMS)，以及根据分数确定有效候选框这几个重要步骤进行结果输出。

2.根据权利要求1所述的一种基于鱼眼相机与激光雷达融合的矿区目标识别方法，其特征在于，步骤c)中，计算畸变向量即五维向量具体如下：通过寻找棋盘格角点进行计算的方法获取相机3*3的内参矩阵以及两套畸变矩阵系数：1*5的畸变矩阵[k₁，k₂，k₃，p₁，p₂]，以及1*4的畸变矩阵[k₁，k₂，k₃，k₄]。