[发明专利]一种基于多传感器的无人机着陆区域识别方法

说明书

本发明提供一种基于多传感器的无人机着陆区域识别方法，涉及无人机技术领域。该方法通过对无人机搭载的相机拍摄的图像数据进行图像特征提取和语义分割以确定可能的降落区域位置，然后引导无人机飞向该可能的降落区域；当无人机飞到低空时，利用激光雷达，IMU和GPS传感器获得的数据建立可降落区域的三维点云地图，并通过利用深度学习方法提取点云语义特征，对三维环境模型进行语义分割，生成带语义标签的三维点云地图，然后从该点云地图中得到降落区域的精确三维位置信息并引导无人机完成自主着陆。该方法融合了激光雷达、相机和IMU等传感器的数据，得到无人机可降落区域的精确三维位置信息，实现对无人机着陆区域的精确鲁棒识别。

技术领域

本发明涉及无人机技术领域，尤其涉及一种基于多传感器的无人机着陆区域识别方法。

背景技术

无人机在近些年得到了越来越广泛的应用，比如在军事领域无人机可以广泛应用于信息侦查、运输物资、无人作战等领域，在民用领域无人机可以广泛应用于影像拍摄、灾害检测、电力巡检、农业植保等领域。由于无人机及搭载的设备往往造价昂贵，若在飞行中出现意外，不仅会严重损坏无人机和搭载设备，还会对地面的设施造成不可预知的伤害，若伤及行人后果更是不堪设想。目前针对无人机飞行安全的技术方案已陆续出现，如：用各种传感器进行主动避障、用通讯系统互相告知当前位置等等。然而，无人机的自主安全着陆能力作为安全飞行的重要一环，目前仍有很大提升空间。

目前，绝大多数无人机在遇到如电池电量低、丢失遥控信号、失去GPS信号、天气突变等需要迅速降落的紧急情况时，往往是原地下降，这就存在较大风险，如无人机降落时桨叶碰到树枝或高压线，无人机误降落到水面、道路中间或人群密集区。事实上，这种情况在实际操作过程中经常发生，现有的这种盲目的降落方式往往既损坏无人机和设备，又会对地面物品和人身安全造成严重损害。可以想象如果无人机在遇到紧急情况或者在收到降落指令后，能够开启自主降落模式，实时检测安全降落区域着陆面，自主选择合适降落地点并实时识别周围环境目标具有重要的研究意义和广阔的应用前景。而为了实现这一目标，无人机必须具有自主的环境感知的能力，从而能够实现在复杂环境中的地形识别与建模，自主选择适合着陆面。

中国专利“CN11250937A一种无人机飞行着陆视觉处理系统及方法”提供了一种无人机飞行着陆视觉处理系统及方法。此专利包括：拍摄模块，其拍摄摄像头摄像范围内的图像；无人机识别模块，其识别拍摄模块拍摄的图像是否为无人机；和无人机相对位置定位模块，其将无人机识别模块识别出的无人机图像进行图像分割并定位无人机的相对位置。但该技术方案仅使用摄像头作为着陆区域的识别模块，使用图像分割定位无人机的相对位置。这种仅使用单一摄像头传感器数据给自主着陆系统提供信息，如果在光照不充足的情况下，会导致准确率较低、适用范围较窄且鲁棒性较差的问题；并且二维图像无法提供可降落区域精确的三维位置信息。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于多传感器的无人机着陆区域识别方法，使得无人机能够在遇到紧急情况或者收到降落指令后，基于多传感器实现低空多维地形信息建模并基于深度学习实现语义层次地形信息分类，自动识别安全的停机区域。

为解决上述技术问题，本发明所采取的技术方案是：一种基于多传感器的无人机着陆区域识别方法，具体为：

对相机拍摄的图像进行图像特征提取和语义分割，以确定图像中可降落区域的位置；

通过无人机携带的激光雷达确定可降落区域的点云数据，确定可降落区域的三维环境模型；

提取激光雷达点云数据的语义特征，对三维环境模型进行语义分割，得到可降落区域的三维语义信息；

通过对激光雷达点云数据的语义类别标签进行筛选，得到候选着陆区域；

利用候选着陆区域点云的几何特征作为约束项选择最合适的着陆点。

进一步地，所述方法还包括在相机拍摄前对无人机搭载的相机、激光雷达和IMU进行标定，具体包括：