[发明专利]基于多模态传感器的水面无人艇环境信息融合感知方法

权利要求书

1.一种基于多模态传感器的水面无人艇环境信息融合感知方法，其特征在于，包括以下步骤：

步骤1：将激光雷达、航海雷达、可见光摄像机和红外摄像机在时间空间上配准；将激光雷达与航海雷达坐标系相互转换对齐后，对激光雷达和可见光摄像机进行标定，建立将激光雷达捕获的三维点映射到可见光摄像机捕获的图像数据中的二维点的转化矩阵；

步骤2：利用可见光摄像机和红外摄像机收集海面环境图像数据，对不同的目标海面物体采集足够的样本后进行标注，得到海面目标数据集；利用海面目标数据集在卷积神经网络中进行训练，得到目标检测模型；

步骤3：获取激光雷达捕获的三维点阵云，通过滤波器过滤点云中无效数据与水面无人艇自身航迹所产生的杂乱点云；根据过滤后的点云聚类获取水面无人艇周围不同目标的点云簇并提取质心作为海面目标的特征点；

步骤4：根据不同海况调整航海雷达参数并将所返还的目标数据进行坐标转换，构建海面目标CTRV运动模型，利用卡尔曼滤波和扩展卡尔曼滤波将激光雷达数据与航海雷达数据相融合，得到初步海洋环境感知模型；

步骤5：将红外摄像机与可见光摄像机联合标定配准，将配准后的红外图像与可见光图像进行特征融合，重构融合后的图像，得到海洋环境目标感知光学样本；

f(x,y)＝w₁f_v(x,y)+w₂f_i(x,y)

其中，f_v为可见光图像的特征图，f_v(x,y)为特征图f_v在(x,y)处的特征值；f_i为红外图像的特征图，f_i(x,y)为特征图f_i在(x,y)处的特征值；w₁、w₂为融合权重；

步骤6：根据步骤4获取的初步海洋环境感知模型，针对海面不同目标方位引导可见光摄像机追踪目标，控制云台姿态角转动至目标所在方位角，在可见光摄像机的视场范围内对环境模型内雷达数据进行筛选，将雷达数据对应的目标限制在可见光摄像机的视场范围，将筛选后的雷达数据投影至二维图像坐标系中；

步骤7：对步骤5中获取的海洋环境目标感知光学样本进行目标检测，输出所检测到目标的属性、置信度、目标中心像素的位置、目标检测框的左上角坐标、目标检测框的右下角坐标；

步骤8：根据投影至二维图像坐标系的雷达坐标点，计算雷达坐标点与目标检测框的重叠度，即雷达数据映射至图像坐标系的中点；若映射点在目标检测框内或框外所允许的误差范围内，则将目标检测的结果赋予该雷达坐标点，即将雷达坐标点贴上该目标类别与置信度的属性标签；否则，判定雷达坐标点代表暂无目标属性类别，等待后续光学传感器验证识别；

步骤9：对贴有目标类别与置信度属性标签的雷达坐标点对应的初步海洋环境感知模型中的目标点进行坐标转换，将初步海洋环境感知模型内目标点的相对坐标转换为经纬度信息，将相对速度与航向转换为绝对速度与航向；

步骤10：同时利用目标检测信息、目标雷达信息与水面无人艇自身姿态信息构建加权融合模型，对海面目标进行危险等级度评估，构建完整的海洋环境感知模型。

2.根据权利要求1所述的一种基于多模态传感器的水面无人艇环境信息融合感知方法，其特征在于：所述的步骤4具体包括以下步骤：

步骤4.1：将激光雷达采集的数据集Z_lidar＝{z_l1,z_l2,...,z_lM}和航海雷达采集的数据集Z_radar＝{z_r1,z_r2,...,z_rN}整合为集合Z_lr，并将集合Z_lr中各组数据按照时间升序排列；

其中，集合Z_lidar和Z_radar中的数据均为按时间升序排列；激光雷达采集的数据为z_lm＝(p_mx,p_my)，p_mx表示第m组数据中目标在笛卡尔坐标系x轴的位置，p_my表示第m组数据中目标在笛卡尔坐标系y轴的位置，m＝1,2,...,M，M为激光雷达采集数据的总次数；航海雷达采集的数据为ρ_n表示第n组数据中目标与水面无人艇的距离，表示第n组数据中目标在极坐标系下与极轴的角度，表示第n组数据中目标的速度，n＝1,2,...,N，N为航海雷达采集数据的总次数；

步骤4.2：从集合Z_lr中取第一组数据z₁，初始化目标的CTRV运动状态x₁和状态误差协方差矩阵P₁；初始化k＝2；构造目标的CTRV运动状态集合X，初始化X＝{x₁}；

目标的CTRV运动状态x_k为：

其中，b_kx表示目标在笛卡尔坐标系x轴的位置；b_ky表示目标在笛卡尔坐标系y轴的位置；v_k表示目标的速度，ψ_k表示目标的偏航角，表示目标的偏航角速度

初始化协方差矩阵P₁＝E，E为单位阵；

若第一组数据z₁为激光雷达采集的数据z_l1，则令b_1x＝p_1x，b_1y＝p_1y，v₁＝0，Ψ₁＝0，即x₁＝[p_1x,p_1y,0,0,0]^T；若第一组数据z₁为航海雷达采集的数据z_r1，则令Ψ₁＝0，即

步骤4.3：从集合Z_lr中取第k组数据z_k，计算耗时Δt_k＝t(z_k)-t(z_k-1)，计算运动模型f(x_k-1)与其Jacobian矩阵F_k和协方差矩阵Q_k；

运动模型f(x_k-1)与其Jacobian矩阵F_k的计算方法为：

若则：

若则：

协方差矩阵Q_k的计算方法为：

其中，为设定的常数；为目标的历史偏航角速度变换倍率的方差，根据集合X中的数据计算；

步骤4.4：计算目标的CTRV运动状态的预测值及状态误差协方差矩阵的预测值

其中，υ_k为噪声；

其中，υ_a,k为纵向加速度噪声，其均值为0，方差为为角加速度噪声，其均值为0，方差为

步骤4.5：若第k组数据z_k为激光雷达采集的数据，则执行步骤4.6；若第k组数据z_k为航海雷达采集的数据则执行步骤4.7；

步骤4.6：根据激光雷达变换矩阵H_lidar与噪声测量协方差矩阵R_lidar，更新目标的CTRV运动状态x_k及状态误差协方差矩阵P_k，将x_k加入集合X后执行步骤4.8；

其中：

其中，I为单位阵；为笛卡尔坐标系x轴方向的噪声标准差；为笛卡尔坐标系y轴方向的噪声标准差；

步骤4.7：根据航海雷达非线性映射线性化后的Jacobian矩阵H_radar与噪声矩阵R_radar，更新目标的CTRV运动状态x_k及状态误差协方差矩阵P_k，将x_k加入集合X后执行步骤4.8；

其中，

其中，为不同参数的噪声标准差；

步骤4.8：若k＜M+N，则令k＝k+1，并返回步骤4.3；否则，输出目标的CTRV运动状态集合X＝{x₁,x₂,...,x_M+N}，与激光雷达感知范围外航海雷达远距离目标数据集合并，得到初步海洋环境感知模型。