[发明专利]一种基于多传感器的无人机着陆区域识别方法

权利要求书

1.一种基于多传感器的无人机着陆区域识别方法，其特征在于：

对相机拍摄的图像进行图像特征提取和语义分割，以确定图像中可降落区域的位置；

通过无人机携带的激光雷达确定可降落区域的点云数据，确定可降落区域的三维环境模型；

提取激光雷达点云数据的语义特征，对三维环境模型进行语义分割，得到可降落区域的三维语义信息；

通过对激光雷达点云数据的语义类别标签进行筛选，得到候选着陆区域；

利用候选着陆区域点云的几何特征作为约束项选择最合适的着陆点。

2.根据权利要求1所述的一种基于多传感器的无人机着陆区域识别方法，其特征在于：所述方法还包括在相机拍摄前对无人机搭载的相机、激光雷达和IMU进行标定，具体包括：

(1)对无人机搭载的相机、激光雷达和IMU进行时间同步；

将相机的触发模式设置为硬件触发模式，通过放置在无人机上单片机的I/O接口与相机进行连接，由单片机的MCU模块给相机发送触发脉冲信号进行采图；相机在触发后输出通过Strobe信号实现的开关信号，该信号为高电平有效；使用相机输出的Strobe信号对激光雷达和IMU传感器进行硬触发；

(2)对无人机搭载的相机、激光雷达和IMU进行空间同步；

使用标定工具箱对相机、激光雷达和IMU进行外参标定，得到不同传感器数据坐标系之间的坐标变换矩阵，将传感器得到的信息整合到同一个坐标系中。

3.根据权利要求1所述的一种基于多传感器的无人机着陆区域识别方法，其特征在于：所述方法通过深度学习方法对相机拍摄的图像进行图像特征提取和语义分割，以确定图像中可降落区域的位置，具体方法为：

构建基于图像的可降落区域识别模型进行图像特征提取和语义分割，该模型包括下采样模块、全局特征提取模块、特征融合模块和分类器模块；

所述下采样模块通过卷积网络对输入图像进行学习下采样；所述卷积网络采用三层卷积网络，其中，第一层是一个标准的卷积层，其它两个层则为深度可分离卷积层；与标准卷积不同，在深度可分离卷积层中一个卷积核只负责一个通道，一个通道也只被一个卷积核卷积；这三层网络使用的步长均为2，并加入批标准化层和ReLU激活层；标准卷积层的卷积核和深度可分离卷积层的核大小为3×3；

所述全局特征提取模块使用瓶颈残差模块来提取下采样模块输出图像的特征，在瓶颈残差模块上使用残差连接层来融合下采样模块各层的信息，并在瓶颈残差模块的末端增加金字塔池化模块；

所述特征融合模块将下采样模块得到的特征经过卷积层处理，并与全局特征提取模块得到的特征直接相加融合，得到特征张量；

所述分类器模块使用两个深度可分离卷积层和一个标准卷积层将特征融合得到的特征张量输出为具有语义类别标签的图片，实现对输入的图片信息进行分类，获得图像中每一部分对应的地形信息，进而初步地找到无人机可降落的区域。