[发明专利]基于深度学习的交叉杆端部紧固螺栓丢失故障检测方法

权利要求书

1.基于深度学习的交叉杆端部紧固螺栓丢失故障检测方法，其特征在于包括：

步骤一：获取交叉杆端部紧固螺栓的高清线阵图像，并建立样本数据集；

步骤二：对样本数据集进行数据扩增；

步骤三：对数据集中的图像进行标记；

步骤四：建立TensorFlow Object Detection API深度学习目标检测模型，并将原始图像和标记数据生成数据集，用于模型训练；

步骤五：读取TFDS货车图像检测系统服务器上的过车图像，粗定位出紧固螺栓部件区域子图像，通过调用子图像，将子图像输入到训练好的模型中，进行实时的故障检测，模型对子图像检测出属于正常螺栓的概率为a，属于螺栓丢失的概率为b，a和b的概率范围用0到1的数值表示，并且检测到的正常类或者丢失类的概率互相之间是不相关的个体；

步骤六：首先将螺栓正常阈值设定为0.97，丢失阈值设定为0.9，疑似丢失阈值设定为0.5，然后根据模型输出的阈值进行判断：

若检测到丢失类的概率b，并且b0.9，则认为存在紧固螺栓丢失情况，直接报警给TFDS检测平台；若0.5b0.9，则判定属于疑似丢失情况，并继续判断是否可以检测到正常类的概率a，若检测到正常类的概率a，则判定正常类的概率a是否大于0.97，若a0.97，则不报警，若a0.97，则报警给TFDS检测平台；

若检测到正常类的概率a0.1，且丢失类的概率b0.1，则认定子图像可能存在异常，未检测到有用信息，直接报警给TFDS检测平台；

若以上情况均不存在，则认为该车紧固螺栓图像正常，继续进行下一辆车的紧固螺栓部件检测。

2.根据权利要求1所述的基于深度学习的交叉杆端部紧固螺栓丢失故障检测方法，其特征在于所述步骤三中采用LabelImg工具对数据集中的图像进行标记。

3.根据权利要求2所述的基于深度学习的交叉杆端部紧固螺栓丢失故障检测方法，其特征在于所述数据集格式为pascal voc。

4.根据权利要求1所述的基于深度学习的交叉杆端部紧固螺栓丢失故障检测方法，其特征在于所述步骤四中建立TensorFlow Object Detection API深度学习目标检测模型的具体步骤为：

步骤四一：安装TensorFlow环境和object detection api，并配置好相关环境变量；

步骤四二：选择用于迁移学习的目标检测预训练模型faster_rcnn_inception_v2_coco；

步骤四三：将标记好的数据集首先通过程序自动生成训练集和验证集，并将数据集转换成tfrecord格式文件train.record和val.record，供给后续模型调用；

步骤四四：依据预训练模型准备相关配置文件，所述相关配置文件包括：

类标签文件：pascal_label_map.pbtxt，

训练参数文件：faster_rcnn_inception_v2_coco.config,在该文件内，设定类别个数，模型训练子图像大小，训练模型的结构参数，训练迭代次数以及训练模型数据集路径参数；

步骤四五：训练深度学习模型，生成的模型文件为model.ckpt，然后设定迭代次数，多次训练后选择最优模型作为最终测试模型文件；

步骤四六：使用export_inference_graph.py导出模型，将模型文件model.ckpt转换成.pb格式的新模型，即export_inference_graph.pb。

5.根据权利要求4所述的基于深度学习的交叉杆端部紧固螺栓丢失故障检测方法，其特征在于，所述方法还包括模型测试步骤，所述模型测试步骤为：

选择交叉杆端部紧固螺栓子图像数据进行模型测试，若测试识别结果满足设定的识别率和准确率标准，则模型训练结束，利用TensorRT加速引擎对模型进行加速，若测试识别结果不满足设定的识别率和准确率标准，则重新选择交叉杆端部紧固螺栓子图像数据进行模型测试，并测试识别结果是否满足设定的识别率和准确率标准，

所述利用TensorRT加速引擎对模型进行加速的具体步骤为：

1、将网络中无用的输出层消除；

2、将网络中的conv、BN、Relu三个层融合为一个层，对网络结构进行垂直整合；

3、将输入为相同的张量和执行相同操作的层融合在一起，对网络结构进行水平整合；

4、将concat层的输入直接进行下面的操作，不单独进行concat后的输入计算。