[发明专利]一种基于无人机视觉的飞机蒙皮损伤智能检测方法

权利要求书

1.一种基于无人机视觉的飞机蒙皮损伤智能检测方法，其特征在于：所述检测方法包括按顺序进行下列步骤：

步骤1)构建原始飞机蒙皮图像样本数据集：利用相机采集多帧具有蒙皮损伤的飞机蒙皮原始图像，将每一帧飞机蒙皮原始图像作为一个样本，由所有飞机蒙皮原始图像构成原始飞机蒙皮图像样本数据集；

步骤2)构建高质量飞机蒙皮图像样本数据集：对上述原始飞机蒙皮图像样本数据集中的所有飞机蒙皮原始图像进行筛选，由筛选后的清晰飞机蒙皮原始图像构成高质量飞机蒙皮图像样本数据集；

步骤3)构建飞机蒙皮损伤图像样本数据集：将上述高质量图像样本数据集中的清晰飞机蒙皮原始图像进行损伤标注，依据飞机维修手册将损伤分为5大类别：变形、划痕、腐蚀、铆钉损伤和掉漆，由带有标签的清晰飞机蒙皮原始图像构成飞机蒙皮损伤图像样本数据集，并将飞机蒙皮损伤图像样本数据集按9∶1的比例分为训练集和测试集；

步骤4)构建飞机蒙皮表面图像采集系统：所述的飞机蒙皮表面图像采集系统包括无人机(1)、远程遥控装置(2)、云台相机(3)、数据传输系统(4)和计算机(5)；其中，远程遥控装置(2)分别与无人机(1)和计算机(5)无线连接，由检测人员操纵，用于控制无人机(1)的飞行；云台相机(3)搭载在无人机(1)上，用于采集图像；数据传输系统(4)分别与云台相机(3)和计算机(5)无线连接，用于云台相机(3)和计算机(5)之间的图像传输；机算机(5)用于储存和处理图像；

步骤5)规划无人机绕检方案：根据不同飞机机身结构以及采集图像的效果在计算机(5)上确定好无人机(1)的绕检飞机路径、绕检高度及扫描区域，进而确定出重要目标拍摄点；

步骤6)利用飞机蒙皮表面图像采集系统采集待测飞机蒙皮图像，获得飞机蒙皮损伤待测数据集：由检测人员操纵无人机(1)在上述确定的绕检高度下按照绕检飞机路径进行飞行，在飞行过程中利用其搭载的云台相机(3)拍摄每一个目标拍摄点附近的小区域高分辨率图像作为待测图像并通过数据传输系统(4)传输给计算机(5)并存储，同时将云台相机(3)在机身上的扫描区域位置信息通过数据传输系统(4)传输给计算机(5)并存储，由所有待测图像构成飞机蒙皮损伤待测数据集；

步骤7)构建飞机蒙皮损伤检测网络模型并输入飞机蒙皮损伤图像样本数据集进行训练和验证，获得训练好的飞机蒙皮损伤检测网络模型：

步骤8)利用训练好的飞机蒙皮损伤检测网络模型对飞机蒙皮损伤待测数据集进行自动检测。

2.根据权利要求1所述的基于无人机视觉的飞机蒙皮损伤智能检测方法，其特征在于：在步骤1)中，所述采集多帧具有蒙皮损伤的飞机蒙皮原始图像的具体方法是：利用高清晰度高帧率相机，在距离飞机蒙皮1-2米的范围内，从多个角度多个焦距采集多帧具有蒙皮损伤的飞机蒙皮原始图像。

3.根据权利要求1所述的基于无人机视觉的飞机蒙皮损伤智能检测方法，其特征在于：在步骤2)中，所述构建高质量飞机蒙皮图像样本数据集的具体方法是：对飞机蒙皮原始图像进行筛选，保留损伤能够达到可辨认程度的清晰飞机蒙皮原始图像，由这些清晰飞机蒙皮原始图像构成高质量飞机蒙皮图像样本数据集。

4.根据权利要求1所述的基于无人机视觉的飞机蒙皮损伤智能检测方法，其特征在于：在步骤3)中，所述构建飞机蒙皮损伤图像样本数据集的具体方法是：利用labellmg.exe图像处理软件对清晰飞机蒙皮原始图像中的损伤进行标注，首先依据飞机维修手册将损伤分为5大类别：变形、划痕、腐蚀、铆钉损伤和掉漆并定义标签分别为：deform、scratch、rush、rivet_damage、paint_peel；然后进行手动标注，标注方式遵循统一的标注规则：规则1：采用方形标注框，对清晰飞机蒙皮原始图像中出现的所有损伤分别进行标注且标注框不能太大；规则2：将凹坑、结构变形、撞击均视为变形损伤；规则3：当清晰飞机蒙皮原始图像中出现多处划痕损伤时应分别标注，当划痕损伤较大时应使用多个均匀的小标注框进行分段标注；规则4：当蒙皮接缝处出现腐蚀损伤时应采用多个小标注框进行标注；规则5：将一切出现在铆钉上的损伤均视为铆钉损伤且每个铆钉损伤要单独标注；规则6：当出现由于其他原因造成蒙皮表面颜色改变也视作掉漆损伤；最后将带有标签的清晰飞机蒙皮原始图像保存为xml格式。