[发明专利]一种基于深度学习的飞机油箱多余物自动检测方法

权利要求书

1.一种基于深度学习的飞机油箱多余物自动检测方法，其特征在于，包括：

步骤1.通过探测机械臂末端挂载的深度相机，在飞机油箱中进行定点拍照，构建油箱图像集S和图像标签集γ；

其中，所述油箱图像集S由多个图像对构成，设任一图像对为χ_(n)，χ_(n)＝(I_(n)，D_(n))，由一彩色图像I_(n)以及对应的深度图像D_(n)构成，n为图像对在集合中的序列号；

对于每个图像对χ_(n)，均有与之对应的图像标签γ_(n)，所述图像标签集γ为所有γ_(n)的集合；设γ_(n)＝(ο_(n,1)，ο_(n,2)，...ο_(n,N))，其中ο_(n,i)＝(x,y,w,h,l)，表示第n个图像对中第i个多余物在图像中的位置(x,y,w,h)以及所属多余物类型l，所述(x,y,w,h)分别为多余物中心点的横坐标值、纵坐标值、宽度值和高度值，多余物的类型包括金属碎屑、密封胶、螺帽和施工工具4类，对应不同的l值；

步骤2.建立训练数据集；

将油箱图像集S中的图像对划分为训练集T、验证集V和测试集ε，对应的标签集分别为γ_T、γ_V、γ_ε；

步骤3.建立网络模型；

所述网络模型由特征提取器和目标检测器构成，使用卷积神经网络构建前端特征提取器，使用区域候选网络构建后端目标检测器；

步骤4.训练网络模型；

训练所述卷积神经网络和区域候选网络，将T和γ_T的训练数据送入卷积神经网络进行训练；

步骤5：利用训练完成的深度网络模型，针对实践中采集的飞机油箱图像进行多余物检测；

上述步骤中的卷积神经网络包括卷积模块和融合模块；

所述卷积模块包括：

第一卷积层，卷积核大小为3*3，卷积核滑动时每次移动2个像素，共计32个特征图像；

第二卷积层，卷积核大小为3*3，卷积核滑动时每次移动1个像素，共计64个特征图像；

第一卷积块层，采用三层卷积层结构，卷积核大小为3*3，使用的卷积核个数分别为[128,128,128]，第三层卷积核滑动时每次移动2个像素，共计128个特征图像；

第二卷积块层，采用三层卷积层结构，卷积核大小为3*3，使用卷积核个数分别为[256,256,256]，第三层卷积核滑动时每次移动2个像素，共计256个特征图像；

第三卷积块层，采用三层卷积层结构，卷积核大小为3*3，使用卷积核个数分别为[728,728,728]，第三层卷积核滑动时每次移动2个像素，共计728个特征图像；

第四至第十九卷积块层，均采用三层卷积层结构，卷积核大小为3*3，使用卷积核个数分别为[728,728,728]，第三层卷积核滑动时每次移动1个像素，共计728个特征图像；

第二十卷积块层，采用三层卷积层结构，卷积核大小为3*3，使用卷积核个数为[728,1024,1024]，第三层卷积核滑动时每次移动2个像素，共计1024个特征图像；

第二十一卷积块层，采用三层卷积层结构，卷积核大小为3*3，使用卷积核个数分别为[1536,1536,2048]，第三层卷积核滑动时每次移动1个像素，共计2048个特征图像；

上述卷积模块的结构中，各层依次连接，向卷积模块分别输入彩色图像和深度图像，卷积模块输出彩色图像的特征图像和深度图像的特征图像；

所述融合模块包括：第一特征融合层，针对从不同通道输入的上述特征图像，进行通道叠加处理；

第二特征融合层，卷积核大小为1*1，卷积核滑动时每次移动一个像素，共计2048个特征图像；

所述第一特征融合层的输入端与所述第二十一卷积块层的输出端连接，第二特征融合层的输入端与第一特征融合层的输出端连接；

所述融合模块对输入的彩色图像特征图像和深度图像特征图像进行处理，输出融合特征图像；

上述步骤中的所述区域候选网络采用anchor机制用于多余物的初步定位，提供3类面积大小和3类长宽比共计9种anchor，其网络结构包括：

第一卷积层，卷积核大小为3*3，卷积核滑动时每次移动1个像素，共计2048个特征图像；

第一RPN分支第一卷积层，其中尺度卷积核大小为1*1，卷积核滑动时每次移动1个像素，预测目标候选在9种anchor对应的中心坐标(x,y)的偏移量和尺寸大小，输出36个预测图像；

第二RPN分支第一卷积层，卷积核大小为1*1，卷积核滑动时每次移动1个像素，预测目标候选在9种尺度anchor下属于前景目标、背景目标的概率，共计18个概率图像；

第二RPN分支Softmax层，用于归一化处理所述概率图像，预测出目标候选在9种尺度anchor下属于前景和背景类别的概率；

ROI池化层，对融合特征图中前景目标区域对应的图像特征进行池化操作，cell大小为7*7；

第一全连接层FC，全连接层的节点个数为1024，dropout强度为0.5；

第二全连接层FC，全连接层的节点个数为1024，dropout强度为0.5；

第三全连接层FC，全连接层的节点个数为4，输出目标在图像中的4个坐标值；

第四全连接层FC，全连接层的节点个数为4；

Softmax层，最终输出目标对应4种多余物类型的概率；

上述结构中：

所述第一卷积层和ROI池化层分别与卷积神经网络的输出层连接，第一卷积层的输出端又分别与第一RPN分支第一卷积层、第二RPN分支第一卷积层的输入端连接，所述第二RPN分支第一卷积层的输出端与第二RPN分支Softmax层的输入端连接，所述第一RPN分支第一卷积层和第二RPN分支Softmax层的输出端与所述ROI池化层连接；

所述ROI池化层的输出端与第一全连接层FC的输入端连接，第一全连接层FC的输出端与第二全连接层FC的输入端连接，第二全连接层FC的输出端分别与第三全连接层FC和第四全连接层FC连接，通过第三全连接层FC输出多余物的位置信息，所述第四全连接层FC的输出端再与所述Softmax层连接，通过Softmax层输出多余物的类型信息。