[发明专利]一种用于受电弓故障的车载图像识别方法

权利要求书

1.一种用于受电弓故障的车载图像识别方法，其特征在于，包括以下步骤：

S1：应用针对弓头定位设计的深度学习模型检测弓头位置坐标，以缩小检测范围，同时对受电弓的异常降弓、毁坏的检测；具体包括以下步骤：

S11：通过车载受电弓图像采集设备获取受电弓原始图像；

S12：对采集的实时图像，采用间隔u帧进行受电弓位置检测，更新位置；若参数u未达到指定帧数i，受电弓位置坐标沿用上一次检测结果，参数迭代u＝u+1，故障检测直接进入步骤S2；

S13：当u＝i时，将采集到的原始图像输入到受电弓定位检测设计的深度学习目标检测模型，检测图像中存在的受电弓及其位置坐标；

S14：根据设置的类别置信度阈值，去除检测结果中低于该阈值的目标，由非极大值抑制去除冗余定位框，最终获得正确弓头定位结果；记录下该帧图像检测结果，迭代参数u＝0；

S15：若当前受电弓位置检测帧，没有检测到受电弓，则u＝i，重新执行步骤S1流程，并用历史检测中的前n-1帧检测结果，与当前帧检测结果对比，若为连续n帧图像没有检测到受电弓，则判定为受电弓异常降弓与毁坏；

S2：根据弓头定位框坐标及大小扩张区域边界，裁剪出受电弓弓头区域；

S3：应用针对受电弓分割的深度学习图像分割模型对弓头区域图像分割，获得代表弓角及碳滑板的像素区域分割掩码；

S4：对分割后的掩码二值化，得到二值图，并做相应的平滑处理；

S5：应用弓角及碳滑板的标准模板在二值图中进行模板匹配，通过模板匹配实现故障识别与定位分析，得到相关坐标；

S6：将受电弓目标检测结果、故障识别结果、图像分割掩码到原图进行综合检测结果标识，并记录检测日志；

所述针对弓头定位设计的深度学习模型为：受电弓弓头定位网络采用Faster R-CNN的基本构架，检测网络采用ResNet50作为共享特征提取网络，在res3、res4、res5的输出层上构建3层的特征图金字塔用于预测候选区域，每层设计3种预设窗口，通过特征映射与ROIAlign池化获取目标特征，再经全连接层后实现弓头识别与定位，模型中，特征提取网络初段采用7×7卷积滤除无用信息，其余特征提取采用1×1、3×3组合卷积获取详细局部信息，在所有卷积层后添加批归一化层，在其后添加Relu激活层；

所述针对受电弓分割的深度学习图像分割模型为：图像特征提取的主干架构采用ResNet-50网络，模型输入图像尺寸设置为608×608，能适应200万像素或500万像素相机采集图像，弓头区域不会过度缩放；通过弓头定位后获得的弓头待检测区域图像缩放统一尺寸后，目标没有多尺度特性，因此候选区域推荐网络，采用单层预测结构，anchor框设置只1种面积大小，长宽比为{2:1，3:1，4:1}，总共仅有3种候选框；检测头包含分类、定位、分割的结构，设定输出掩码尺寸为84×84，由14×14大小的特征图反卷积到28×28，再经反卷积到84×84，对输出特征图逐像素应用Sigmoid单分类器后只输出一类分割掩码，输出特征图为84×84×1，分类与定位分支的全连接层采用平均池化计算。

2.根据权利要求1所述的用于受电弓故障的车载图像识别方法，其特征在于：所述步骤S2具体包括以下步骤：

S21：目标检测模型最终输出结果包含目标置信度，目标矩形边界框的左上角坐标以及边界框的框与高，用(x，y，w，h)向量表示，以该边界框为基准，扩展边界框，保证扩展后的边界框在任何情况下有完整的受电弓弓角图像，迭代坐标参数向量；

(x，y，w，h)＝(x-a，y-b，w+2a，h+2b)

式中，a，b为边界扩张量；

S22：采用步骤S21中扩展后的边界框参数，裁剪出弓头区域图像。

3.根据权利要求1所述的用于受电弓故障的车载图像识别方法，其特征在于：所述步骤S3具体包括以下步骤：

S31：将弓头区域图像输入到弓角及碳滑板分割的深度学习实例分割模型，模型实时输出可能的弓角与碳滑板整体的分割掩码、置信度、位置坐标；

S32：根据设置的类别置信度阈值，去除检测结果中低于该阈值的目标，由非极大值抑制去除冗余定位框及其目标掩码，最终获得正确弓的弓角及碳滑板分割掩码、整体位置坐标。