[发明专利]一种基于transformer的机场跑道线检测方法

说明书

本发明属于自动驾驶领域，具体涉及一种基于transformer的机场跑道线检测方法。本方法提出端到端方法，将跑道线输出为跑道形状模型的参数，通过transformer机制的构建网络模型学习丰富的上下文信息，得到跑道线模型参数，跑道线的形状是根据跑道结构和摄像头姿态决定的，与实际场景紧密联系，模型输出的参数有准确的物理解释。本发明首先建立机场跑道线数据集，包含了不同机场的无人机的起飞、降落视频序列，和跑道线标注文件，其次采用基于transformer的跑道线检测模型在跑道线训练集上训练，最后在跑道线测试集上完成推理测试。

技术领域

本发明属于自动驾驶领域，具体涉及一种基于transformer的机场跑道线检测方法。

背景技术

随着军用武器装备的智能化程度越来越高，无人机等飞行器自主飞行和自主着陆、图像导航的需求越来越高，而检测机场跑道线是无人机自主着陆过程中的关键技术，准确实时检测跑道线推动着无人机导航的发展。机场跑道线检测，旨在检测识别出跑道线的每条跑道线，一般的机场跑道由左右两边线和中线构成，机场检测一般检测出机场的区域和主方向即可，但跑道线检测是将每条跑道线均检测得到，确定每条跑道线的位置和方向。

机场跑道提供无人机起飞、着陆、滑跑，具有一定长度和宽度，并且有标识的铺筑路面，在图像中呈现边沿整齐、平直的区域。跑道线的显著特征有以下三点：

a.平行线特征，通常机场跑道的左右两条边线、中线，是平行的，在前视图像中，跑到线呈现梯形形状，在俯视鸟瞰图中呈现平行线。

b.梯度特征。通常情况下，在图像中，机场跑道线和周围背景灰度特征有较大差异，跑道线灰度值大于背景灰度，从机场一侧到另一侧，在有跑道中线情况下，灰度出现三次跃变。

c.结构特征，通常跑道以主跑道最长最宽、标志最多，多条跑道与主跑道交叉、平行，呈现“H”，“T”，“V”等形状。

机场跑道线检测大体分为传统的基于梯度的方法，和基于深度卷积神经网络的方法。传统基于梯度的方法大多采用霍夫变换直线检测、LSD直线检测、俯视变换、线拟合、平行透视灭点等检测方法。传统方法一种是通过边缘检测滤波等方式分割出车道线区域，结合霍夫变换、RANSAC等算法进行车道线检测。还有根据确定的投影变换，将前视图像转化为鸟瞰图，在图像上选择感兴趣区域，直线方法检测得到每条平行的跑道线，再反投影到原始图像上，该方法依赖固定的投影变换，当相机高度发生变化时，该方法失效。

另一种方法是在鸟瞰图上聚类得到线的集合，再通过最小二乘法拟合得到车道线的解析式，同样依赖固定的投影变换，对于无人机在空中起降的场景，高度时刻发生变换，该方法无法检测得到跑道线。这类算法需要人工手动去调滤波算子，根据算法所针对的跑道场景特点手动调节参数，工作量大且鲁棒性较差，当跑道环境出现明显变化时，跑道线的检测效果不佳。

基于深度学习的方法检测跑道线具有较高的精度，大体分为四类：

a，基于语义分割的方法

基于语义分割的跑道线检测分为两个步骤：特征提取和曲线拟合。代表方法由SCNN、SAD，CurveLanes-NAS等方法。此类方法大多数工作都是通过基于分割的模型来提取特征的，这些模型通常效率低下，因为分割方法是逐像素分类，需要对图像中每个像素进行分类，这种非常密集的运算导致跑道线检测速度缓慢。实际上，跑道线占图像的比例很小，分割方法不适用快速的跑道线检测。并且，分割方法得到的线条存在毛刺边缘，线条断裂，难以满足实际场景的要求。另外，分割方法遇到局部感受野问题，分割结果一般由全卷积得到，而卷积是局部的特征提取，每个像素的感受野有限，尤其是语义线检测，需要对全局的特征具有感知能力，才能实现跑道线的定位。分割步骤不提供跑道标记，必须对分割图进行后处理才能输出跑道线。这两个步骤的过程可能会忽略全局信息，当缺少视觉提示时(如在强烈的阴影和遮挡中)，该方法可能失效。

b，基于锚的方法