[发明专利]一种基于深度学习的飞机油箱多余物自动检测方法

说明书

本发明公开了一种基于深度学习的飞机油箱多余物自动检测方法，包括：从探测机械臂末端挂载的深度相机中获取彩色图像和深度图像，形成油箱图像集和图像标签集；将油箱多余物可划分为金属碎屑、密封胶、螺帽和施工工具四类情况；将彩色图像和深度图像配对建立训练数据集，并将图像划分为训练集、验证集和测试集，以及相应的标签集；使用卷积神经网络构建前端特征提取器，分别对训练集中的彩色图像和深度图像提取特征并进行特征融合；使用区域候选网络构建后端目标检测器，之后进行卷积神经网络和区域候选网络的训练，最终利用训练后的模型输检测飞机油箱图像中多余物的位置以及对应4个多余物类型的概率，具有检测效率高，检测精度高的优点。

技术领域

本发明涉及密闭空间无损检测技术、计算机视觉和深度学习等领域，具体为一种基于深度学习的飞机油箱多余物自动检测方法。

背景技术

飞机油箱多余物，是指飞机装配出厂、检修和维修时因为施工人员赶工期、疏忽大意或者检查困难等主客观因素导致机身内部没有被打扫干净，残留有大量威胁飞行安全的“异物碎片”。这些“异物碎片”除了金属碎屑和施工工具，还包括密封胶、螺帽等装配配件。这些多余物很有可能会在飞行中因振动磨损铆钉的密封涂胶导致油箱面临漏油的风险，破坏油箱中的控制电路或者阻塞油箱油管，进而导致飞机失控。由于飞机内部可移动的“异物碎片”造成飞机延迟交付和运行事故已多次发生，造成了无法估量的损失。

目前国内外飞机油箱的多余物无损检测技术主要有以下几种技术X射线检验法、内窥镜探测法和超声波检验法等。其中，现今使用最普遍的检测方法是使用X射线检验法(参见：孙德江.运七飞机整体油箱多余物的无损检测[J].无损检测,1994(6):17.)，它是一种利用X射线探测技术，将射线源架在整体油箱上方进行俯拍，将胶片紧贴底部背面成像的装置。受射线源视角约束，此装置需要操作人员多次手动移动射线源和底部胶片的位置，操作非常繁琐。此外，胶片曝光形成底片的过程中需要多道操作工序，底片上有时出现亮斑、亮线等影像，此时需要评片人员具备完备的专业知识和判读经验，才能较精确地检测出多余物。并且此装置操作较为繁琐，对专业技能要求较高，多余物的检测精度严重依赖于底片的成像质量以及评片人员的判断经验，检测效率较低，检测成本较高，无法大规模投入生产。

目前，针对现有技术中如何从飞机油箱图像数据中高效准确地检多余物问题，尚未提出有效的解决方案。因此，迫切需要一种高效准确地进行飞机油箱多余物检测方法。

发明内容

本发明的目的是针对上述问题，提供一种基于深度学习的飞机油箱多余物自动检测方法，利用大量已有标注的飞机油箱图像数据进行训练，能够快速准确地检出油箱中的多余物类型。

本发明提供的技术方案为：

一种基于深度学习的飞机油箱多余物自动检测方法，其特征在于，包括：

步骤1.通过探测机械臂末端挂载的深度相机，在飞机油箱中进行定点拍照，构建油箱图像集S和图像标签集γ；

其中，所述油箱图像集S由多个图像对构成，设任一图像对为χ_(n)，χ_(n)＝(I_(n)，D_(n))，由一对彩色图像I_(n)以及对应的深度图像D_(n)构成，n为图像对在集合中的序列号；