[发明专利]基于边缘辅助学习的热红外电气设备图像语义分割方法

说明书

本发明公开一种基于边缘辅助学习的热红外电气设备图像语义分割方法，通过转换模块和全局信息集成模块将从原始输入图像中提取的特征进行转换，将对边缘检测和语义分割任务进行同步优化，同时为更好的实现语义分割和边缘优化的联合优化，使用交叉引导单元进行简单特征变换，将解码器中两条不同分支进行交互，使得两种任务达到联合优化的效果。此外，本发明在卷积神经网络的模块输入端增加有真值监督,由此本发明不仅可以预测到更准确的目标边界，而且能够通过边缘检测分支来辅助语义分支得到更准确的分割结果。

技术领域

本发明属于计算机视觉处理技术，具体涉及一种基于边缘辅助学习的热红外电气设备图像语义分割方法。

背景技术

长时间处于运行状态下的电气设备，因为易受到外界环境和天气等因素的影响，所以容易出现故障，对电力系统的安全运行构成威胁。近几年，伴随着科技的持续发展，红外诊断技术开始被应用故障诊断中。这是因为大多数故障诸如接触不良、绝缘老化或磁路故障等均会以发热升温的形式表现出来，而热红外图像可以获取到设备的温度信息。目前，更多的人员着眼于研究基于热红外图像的电气设备检测。但是，目标检测的方法获取到的目标区域是一个大致的范围，语义分割方法可以获得更加精确的定位信息。

图像语义分割的任务是为图像中的每个像素分配一个对应的语义标签，实现从粗粒度到细粒度的语义推理过程，最终获得具有像素语义注释的分割图像。本文对热红外电气设备语义分割进行研究，目的是从单个热红外图像中分割出不同的电气设备。

从热红外图像中准确区分电气设备是一项非常具有挑战性的任务。红外热像仪成像通常会导致较低的图像对比度和模糊的物体边缘轮廓。同时，电气设备的结构也相对复杂，通常具有尖锐的突起，这些问题使网络难以准确识别对象边界，而现有的在自然场景下的方法很难直接应用于电气设备的热红外成像图中。

现有的语义分割方法大多是基于全卷积网络进行改进，全卷积网络是深度学习用于语义分割的开创之作，确立了图像语义分割的通用网络模型框架。全卷积网络可以输入任意大小的图像，是第一个端到端的分割网络模型。另外，对于语义分割这样的像素级分类任务，使用上下文信息可以捕获长距离的依赖关系，提高对象的内部一致性，从而进一步提升分割精度。对于像素级分类任务的语义分割，利用上下文信息可以捕获长距离依赖，提高对象的内部一致性，进一步提高分割的准确性。同时，边缘信息实现精确的语义分割也是至关重要的。

然而，上述现有技术方案只考虑利用边缘信息单向的辅助分割任务，而忽略了边缘检测和语义分割是两个相辅相成的任务，通过对边缘检测和语义分割任务进行交互学习得到的线索对最终的预测有积极的影响。

发明内容

发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种基于边缘辅助学习的热红外电气设备图像语义分割方法，本发明通过一种双路径解码结构，联合语义分割和边缘优化这两个不同的任务进行交互优化学习来解决现有技术中处理电气设备热红外图像多目标分割的问题，以获得更高质量的分割结果。

技术方案：本发明的一种基于边缘辅助学习的热红外电气设备图像语义分割方法，包括以下步骤：

步骤S1、将带有精细标注的电气设备图像输入神经网络，其中使用在ImageNet数据集上预训练的ResNet-101卷积神经网络作为网络特征编码部分；

步骤S2、使用ResNet-101卷积神经网络从输入图像中提取四个不同尺度的多级特征C₁～C₄，并通过转换模块首先将网络主干中前三层特征C₁～C₃的通道数统一至256，转换后的特征标依次记为T₁～T₃；

步骤S3、将最深层特征C₄送入一个全局信息集成模块，得到一个含有全局上下文信息的特征，标记为T₄；