[发明专利]一种基于RGB-T融合的电网设备图像弱监督实例分割方法

权利要求书

1.一种基于RGB-T融合的电网设备图像弱监督实例分割方法，其特征在于，包括如下步骤：

(1)采集多个电网设备的RGB图像和红外热像，对采集到的原始RGB图像进行裁剪和缩放，得到简单RGB图像；所述简单RGB图像与对应的红外热像具有相似的视场、相同的尺寸；所述简单RGB图像中只包含单个电网设备；获取原始RGB图像中电网设备的类别标签；

(2)利用红外热像对简单RGB图像进行自动标注掩码，得到简单RGB图像的掩码标注；

(3)建立实例分割模型；所述实例分割模型包括Mask R-CNN N_mask-r-cnn和全连接条件随机场N_crf；所述N_mask-r-cnn的输入为待分割的RGB图像，输出为逐像素类别概率；所述N_crf的输入为N_mask-r-cnn输出的逐像素类别概率，输出为最终分割结果；

用简单RGB图像和简单RGB图像的掩码标注构建简单训练集，以简单训练集作为实例分割模型的输入进行训练，优化Mask R-CNN的参数，得到优化后的Mask R-CNNN_mask-r-cnn(θ₁)，θ₁为优化后的参数；

(4)构建原始RGB图像分割模型，所述原始RGB图像分割模型包括以θ₁为参数的Mask R-CNN N_mask-r-cnn(θ₁)、argmax去噪模块和全连接条件随机场N_crf，所述argmax去噪模块位于N_mask-r-cnn(θ₁)与全连接条件随机场N_crf之间，输入为N_mask-r-cnn(θ₁)的输出，输出为N_crf的输入；

所述argmax去噪模块输入输出的关系式为：

其中表示N_mask-r-cnn(θ₁)在像素位置(i,j)处预测为第c个类的概率，Ω表示原始RGB图像类别标签集合，g_ij为argmax去噪模块的输出，表示在像素位置(i,j)处预测的类别；

用原始RGB图像分割模型对原始RGB图像进行分割预测，得到原始RGB图像的分割掩码标注；构建复杂训练集，所述复杂训练集包括原始RGB图像和对应的分割掩码标注，以及简单训练集；用复杂训练集作为步骤3中优化后的实例分割模型的输入进行训练，再次优化Mask R-CNN的参数，得到最终的电网设备实例分割模型；

(5)采集电网设备的RGB图像，输入步骤(4)得到的最终电网设备实例分割模型，得到电网设备分割掩码。

2.根据权利要求1所述的基于RGB-T融合的电网设备图像弱监督实例分割方法，其特征在于，步骤(2)包括：

(211)利用图像配准技术将红外热像映射到对应的简单RGB图像坐标系；

(212)确定红外热像的背景区域和前景区域；

(213)对配准后的红外热像进行分割，得到红外热像的分割目标掩码，将所述分割目标掩码映射到简单RGB图像坐标系中，得到简单RGB图像目标掩码标注。

3.根据权利要求1所述的基于RGB-T融合的电网设备图像弱监督实例分割方法，其特征在于，步骤(3)中实例分割模型的整体损失包括MaskR-CNN的交叉熵损失函数和约束到边界的损失函数；所述约束到边界的损失定义如下：

其中X表示输入的待分割RGB图像，f(X)表示MaskR-CNN的输出，Q_u,c(X,f(X))表示全连接条件随机场的输出，其中u表示图像的每一个像素位置，n为图像中像素数量，c表示每一个像素的类别，包括背景类；

实例分割模型的总优化目标是：

其中Y表示图像分割掩码真值，D表示训练集，f(X；θ)表示参数为θ的MaskR-CNN的输出，θ是待学习的参数；L_main(f(X；θ),Y)为MaskR-CNN的交叉熵损失函数。