[发明专利]一种基于RGB-T融合的电网设备图像弱监督实例分割方法

说明书

本发明公开了一种基于RGB‑T融合的电网设备图像弱监督实例分割方法，包括如下步骤：1、采集多个电网设备成对的RGB图像和红外热像，对采集到的RGB图像进行处理，得到简单RGB图像；2、对简单RGB图像进行自动标注掩码；3、建立实例分割模型；构建简单训练集对实例分割模型进行训练；4、用训练好的实例分割模型对原始RGB图像进行分割预测，得到原始RGB图像的分割掩码标注；构建复杂训练集对实例分割模型进行训练，得到最终的电网设备实例分割模型；5、采集电网设备的RGB图像，输入最终电网设备实例分割模型，得到电网设备分割掩码。该方法可以实现对样本的自动标注，从而实现快速精确的电网设备实例分割。

技术领域

本发明涉及图像实例分割领域，具体涉及一种基于RGB-T融合的电网设备图像弱监督实例分割方法。

背景技术

智能化图像识别诊断技术是伴随着人工智能研究的发展和摄影成像技术的飞跃而发展起来的在线监测技术，利用巡检机器人、便携式智能设备等对电网设备进行实时检测识别，能够减轻现场运维人员的工作负担，有效保障设备安全可靠运行。深度学习技术通过从海量的数据中自动学得更加有效的图像特征表达，成功用于一般物体的图像检测和分割，但将深度学习方法用于电网设备的图像检测与分割仍存在巨大的困难和挑战：现有的目标实例分割方法要求所有训练实例都必须标记有分割掩码，使得标注新类别的成本十分昂贵。电网设备种类繁多，尚没有开源图像海量数据作为训练样本，注释新的电网设备实例目前只能依靠人工标记掩码。

针对大量图像样本的昂贵标注问题，现有的解决方案主要有通过迁移学习或弱监督学习等实现图像分割。迁移学习充分利用相近任务或领域的现有数据，试图把处理原任务获取的知识，应用于新的目标难题。但是只在某种情况下会解决简单的新任务，电网设备图像实例分割是一个复杂的任务，场景图像复杂且种类繁多，要更好地解决该任务，充分利用现有电网设备图像样本是必要的途径。弱监督学习是解决该问题的主要方式，魏云超等人使用一种由简单到复杂的框架实现了弱监督语义分割，样本只使用了图像类别标签(见“Yunchao Wei,STC:A Simple to Complex Framework for Weakly-supervised SemanticSegmentation,TPAMI 2017”)，提高了标注效率。Alexander Kolesnikov等人提出了弱监督语义分割的三个主要原则(见“Alexander Kolesnikov,Seed,Expand and Constrain:Three Principles for Weakly-Supervised Image Segmentation,ECCV 2016”)，提升了语义分割的性能。Zilong Huang等人使用深度种子区域增长网络来实现语义分割(见“Zilong Huang,Weakly-Supervised Semantic Segmentation Network with DeepSeeded Region Growing,CVPR 2018”)，也取得了较好的效果。但是这些弱监督学习技术大多用于语义分割，用于实例分割的还相对较少。此外这些弱监督学习技术大多通过种子增长、显著性检测等算法获得掩码标注，因为RGB图像的复杂性所获得的掩码标注往往误差较大，导致最终得到的模型比监督学习的结果较差。

电力设备具有发热的特性，利用红外热像(Thermal)可获得具有明显色彩差异的前景目标，因此电网设备的红外热像比RGB图像易于分割，可用于指导RGB图像的掩码生成，进而作为深度学习模型的训练样本，解决了图像标注昂贵的问题。但是间接获得图像标注的方法存在精度问题，使用这些样本进行监督训练时，会导致模型学习错误的知识，偏离正确结果。弱监督学习可以解决该问题，通过额外的先验辅助模型学习更多的知识。红外热像和RGB图像存在很大分辨率差异，由此易造成RGB图像信息损失，以及某些尺度和场景的数据丢失，进而导致模型训练不充分。自步学习(self-paced learning)可解决该问题，通过逐步迭代以及先验去噪可得到复杂场景图像的掩码标注，然后再用于训练深度学习模型，得到最终模型。

发明内容