[发明专利]一种基于深度学习的卷包设备保养质量自动判别方法、装置及系统

权利要求书

1.一种基于深度学习的卷包设备保养质量自动判别方法，其特征在于，包括：

S1：构建分别用于保养部位识别的识别模型和用于保养部位脏物检测的检测模型，其中，识别模型采用嵌入压缩激励模块：SE模块的ResNet50网络模型，SE模块用于将卷积层的输出特征通过一系列变换操作后得到一个通道加权的与输出特征同维度的特征；检测模型采用Faster R-CNN模型，包括特征提取子模块、区域建议子模块以及分类子模块，特征提取子模块用于提取当次输入的保养部位图像的特征，区域建议子模块用于根据提取的图像特征生成可能包含目标的候选框，分类子模块用于对生成的候选区域进行脏物分类以及位置预测；

S2：通过人工拍照方式获得保养部位图像数据集，对图像进行设备名称标注后构建第一训练数据集，对图像中的脏物类别进行矩形框标注后构建第二训练数据集，利用第一训练数据集对识别模型进行训练，得到训练好的识别模型，利用第二训练集对检测模型进行训练，得到训练好的检测模型；

S3：接收控制模块发送的判别指令以及与对应的图像，其中，对应的图像根据图像采集模块采集的原始图像进行格式转换后得到；

S4：基于判别指令，加载训练好的识别模型对对应的图像进行保养部位识别，如果识别结果为保养部位，则加载训练好的检测模型对对应的图像进行脏物检测；

S5：根据脏物检测结果和保养部位识别结果，并融入专业的先验知识，判别图像对应保养部位的保养质量是否合格。

2.如权利要求1所述的卷包设备保养质量自动判别方法，其特征在于，步骤S1中的SE模块包含的变换操作包括，压缩操作Fsq(.)、激励操作Fex(.)以及归一化操作Fscale(.,.)，其中，压缩操作用于在空间维度对输入的特征进行特征压缩，激励操作Fex(.)包括两个全连接层、一个ReLU函数和一个Sigmoid函数，第一个全连接层FC1和ReLU函数用于提取不同特征通道之间的相关关系，第二个全连接层FC2和Sigmoid函数用于提取每个特征通道的重要性；归一化操作将SE模块计算得到的通道权重和原始的特征进行相乘，用于将不同通道的重要性引入加权之后的特征图中。

3.如权利要求1所述的卷包设备保养质量自动判别方法，其特征在于，步骤S1中FasterR-CNN模型的特征提取子模块包括残差网络ResNet和特征金字塔网络FPN，ResNet构建自下而上的路径对输入图像进行特征提取，FPN的处理过程包括：高层特征图先通过2倍上采样的方式使得高层特征图的尺度和低层特征图一致；然后低层特征图通过1x1卷积，得到与高层特征图相同的通道数；然后将获得两个特征图相加，得到新的融合有高层语义信息的低层特征图。

4.如权利要求1所述的卷包设备保养质量自动判别方法，其特征在于，步骤S1中区域建议子模块RPN包括卷积层，卷积层采用可变形卷积，通过在标准的卷积流程中，新建一个卷积分支来专门生成卷积核采样点的偏移位置。

5.如权利要求1所述的卷包设备保养质量自动判别方法，其特征在于，步骤S2在构建第一训练数据集时，将保养部位为卷烟机和包装机，

其中，卷烟机包含烟丝供给部分侧门、烟丝供给部分底部防护门、平准器、烟丝供给部分磁选、烟丝供给部分后部防护罩门、烟枪部分、印刷系统、烟条卷制成形部分布带箱内及前后布带辊、蜘蛛手防护罩内及V型槽底部盖板、烟条卷制成形部分背面防护罩门、滤嘴接装成形部分机身、滤嘴接装成形部分供胶及各鼓轮、鼓轮风孔、滤嘴接装成形部分后身大墙板侧面防护罩、滤嘴接收装置、轮导轨、滤嘴接装成形部分胶桶、切纸刀架，切纸刀，切纸轮，搓接轮，搓板及月牙板、滤嘴接装成形部分阀岛防护罩门、卸盘机满盘驱动电机、装盘机满盘下盘通道、翻盘机右侧电磁阀柜内部、地脚、综合柜表面和电子秤盒表面内部；

包装机包含下烟通道及周边墙板、一号轮及周边死角、商标纸输送通道、二三轮模盒、封签部件、主电机箱体内部及吊装孔、小盒透明纸包装机入口部分烟包输送部分、小透明输送成型通道、烟包输出部分、条盒胶缸及胶桶部分、条盒输送折叠成型部分、透明展开输送部分、条包提升通道及折叠成型。