[发明专利]基于多模态传感器的水面无人艇环境信息融合感知方法

说明书

本发明针对水面无人艇复杂、多变的工作环境，提供了一种基于多模态传感器的水面无人艇环境信息融合感知方法。本发明克服了单一传感器采集的信息只能从某一角度或侧重点获取环境信息、对目标或场景的描述能力具有一定的局限性、抵抗外界的干扰能力较弱的缺点，发挥了各个传感器的优点并加以结合，构成了一种探测距离远、精度高、可靠性强的感知系统，能对不同海面目标判别其类别并获取绝对经纬度位置，对目标进行不同等级威胁度评估，在场景理解的误差、运动引起的图像噪声、弱光或恶劣海况下具有较高的鲁棒性，保证无人艇在执行任务时能提供更为完善的海洋环境感知模型，安全高效的执行各项任务。

技术领域

本发明属于水面无人艇环境感知技术领域，具体涉及一种基于多模态传感器的水面无人艇环境信息融合感知方法。

背景技术

水面无人艇作为一个海上的高智能化载体，其复杂、多变的工作环境，对环境感知能力有较高的需求。目前国内外研究者一直在对单一传感器的性能进行完善，但海面环境复杂，其信息具有片面性，特别是在恶劣海况下，单一传感器采集的信息只能从某一角度或侧重点获取环境信息，因而对目标或场景的描述能力具有一定的局限性，抵抗外界的干扰能力较弱，为准确地识别环境目标信息带来了较大的挑战。

多传感器信息融合技术能够弥补各自传感器的缺陷，结合它们的优点，准确地、快速地感知无人艇周围目标信息。例如，激光雷达具有分辨率高、精度高等优点，航海雷达探测范围远能提供较远目标的方位信息，但近距离检测精度较差，正好与激光雷达优劣互补，提高系统鲁棒性。同时光学传感器弥补了雷达在识别物体方面的劣势，它可以捕获物体的细节，如亮度，纹理等特征，依靠深度学习目标检测算法为不同的海面目标划分不同等级度危险标签，但是可见光摄像机又受天气状况影响，只能在天气良好的情况下检测和识别目标，红外摄像机成像是将目标与环境的辐射差异按照固定的映射机制映射成为灰度图像，其成像不受环境条件的限制，而且能突出显示隐藏的目标，因此将可见光图像与红外图像相融合，尽可能多的保留海面目标的特征，与雷达所提供的三维信息相结合，构建更为完善的海面环境感知模型。目前，多种传感器信息融合在国内应用于水面无人艇环境感知的研究相对较少，存在许多待解决的难题，需要开展深入的理论和技术研究。

发明内容

本发明的目的在于提供一种基于多模态传感器的水面无人艇环境信息融合感知方法。

本发明的目的通过如下技术方案来实现：包括以下步骤：

步骤1：将激光雷达、航海雷达、可见光摄像机和红外摄像机在时间空间上配准；将激光雷达与航海雷达坐标系相互转换对齐后，对激光雷达和可见光摄像机进行标定，建立将激光雷达捕获的三维点映射到可见光摄像机捕获的图像数据中的二维点的转化矩阵；

步骤2：利用可见光摄像机和红外摄像机收集海面环境图像数据，对不同的目标海面物体采集足够的样本后进行标注，得到海面目标数据集；利用海面目标数据集在卷积神经网络中进行训练，得到目标检测模型；

步骤3：获取激光雷达捕获的三维点阵云，通过滤波器过滤点云中无效数据与水面无人艇自身航迹所产生的杂乱点云；根据过滤后的点云聚类获取水面无人艇周围不同目标的点云簇并提取质心作为海面目标的特征点；

步骤4：根据不同海况调整航海雷达参数并将所返还的目标数据进行坐标转换，构建海面目标CTRV运动模型，利用卡尔曼滤波和扩展卡尔曼滤波将激光雷达数据与航海雷达数据相融合，得到初步海洋环境感知模型；

步骤5：将红外摄像机与可见光摄像机联合标定配准，将配准后的红外图像与可见光图像进行特征融合，重构融合后的图像，得到海洋环境目标感知光学样本；

f(x,y)＝w₁f_v(x,y)+w₂f_i(x,y)