[发明专利]基于边缘辅助学习的热红外电气设备图像语义分割方法

权利要求书

1.一种基于边缘辅助学习的热红外电气设备图像语义分割方法，其特征在于：包括以下步骤：

步骤S1、将带有精细标注的电气设备图像输入神经网络，其中使用在ImageNet数据集上预训练的ResNet-101卷积神经网络作为网络特征编码部分；

步骤S2、使用ResNet-101卷积神经网络从输入图像中提取四个不同分辨率的多级特征C₁～C₄，并通过转换模块首先将网络主干中前三层特征C₁～C₃的通道数统一至256，转换后的特征标依次记为T₁～T₃；

步骤S3、将最深层特征C₄送入全局信息集成模块，进而得到一个含有全局上下文信息的特征，标记为T₄；

步骤S4、从T₄特征中进行边缘预测，得到边缘特征E₄，并将边缘信息作为辅助的学习信息，然后增加一条边缘解码分支以获得与不同尺度语义特征相对应分辨率的边缘特征E₁～E₄；

步骤S5、利用特征T₁～T₄形成一条解码路径，将此解码路径分支与步骤S4中的边缘解码分支相联合，然后利用交叉引导单元实现对语义特征和边缘特征进行联合学习和互相优化；

步骤S6、将步骤S5中所得每一个交叉引导单元的输出特征与对应的语义特征沿通道进行拼接，并作为下一个交叉引导单元的语义特征部分的输入，依次记为特征S₁～S₃，第一个交叉引导单元的输入是从T₄特征中预测得到的语义特征S₄，最终输出预测图；

步骤S7、通过交叉熵损失函数和二元交叉熵损失函数组合监督训练网络模型。

2.根据权利要求1所述的基于边缘辅助学习的热红外电气设备图像语义分割方法，其特征在于：所述步骤S1中ResNet-101卷积神经网络去除全连接层的共享参数，该特征编码器对输入的电气设备图像提取四个特征，依次为C₁、C₂、C₃、C₄，这四个特征的分辨率依次为120×120、60×60、30×30和15×15。

3.根据权利要求1所述的基于边缘辅助学习的热红外电气设备图像语义分割方法，其特征在于：所述步骤S3的全局信息集成模块将特征C₄转换为特征T₄的具体内容为：

先将特征C₄输入局信息集成模块，然后通过金字塔池化处理得到具有全局感受野的特征C₄′，同时使用卷积操作对特征C₄进行微调得到C₄”；接着，将C₄′和C₄”进行乘法所得特征再与特征C₄逐像素相加，获取到最终的输出T₄。

4.根据权利要求1所述的基于边缘辅助学习的热红外电气设备图像语义分割方法，其特征在于：所述步骤S5和步骤S6中的交叉引导单元的具体工作流程为：

通过特征T₄分别通过语义预测和边缘预测获取语义特征和边缘特征，然后将语义特征和边缘特征进行特征变换后获得特征X，第i个特征表示为：

其中，S_i是相对应第i个语义特征图输入，E_i是相对应第i个边缘特征图输入α(E_i)、的维度与E_i相同，表示对E_i分别使用了不同的卷积操作；

再将获取到的特征X_i与S_i进行融合，联合分割特征与边缘特征进行优化，交叉引导单元的最终输出D表示为：

D＝Upsample(Sum(S_i,X_i))

同时，在每个交叉引导单元的输入两端分别使用语义真值和边缘真值进行监督来对生成的特征进行相互约束，从而使边缘特征与分割特征相互优化得到更精确的分割结果。

5.根据权利要求1所述的基于边缘辅助学习的热红外电气设备图像语义分割方法，其特征在于：所述步骤S7中交叉熵损失函数和二元交叉熵损失函数组合为L，

损失函数组合L为解码器中两个分支的辅助损失与最终预测损失相结合，其中，n是交叉引导单元的使用个数，n＝4，同时在每个交叉引导单元的两端均增加辅助损失；

l_s是应用于分割任务的交叉熵损失函数，计算为：

其中，H、W分别表示图像的高度和宽度，S_x,y表示像素(x,y)的真值标签，若类别为k，则否则为0；表示在位置(x,y)上像素属于第k类的相应概率；

另外，在边缘分支中使用二元交叉熵损失l_e函数进行监督，l_e计算为：

其中，E_x,y表示像素(x,y)的真值标签，P_x,y表示在位置(x,y)上边缘对象的相应概率。