[发明专利]一种基于RGB-T多尺度特征融合的电气设备故障检测方法

权利要求书

1.一种基于RGB-T多尺度特征融合的电气设备故障检测方法，其特征在于，包括：

获取电气设备的可见光RGB图像、和与可见光RGB图像对应的红外热T图像，并将RGB图像和对应的T图像构成RGB-T图像；

基于深度卷积神经网络，构建图像目标分割模型；

对RGB图像和T图像制作待检测电气设备的标签样本；定义损失函数，根据损失函数，通过标签样本对图像目标分割模型进行深度监督训练；

将待检测RGB-T图像输入训练后的图像目标分割模型中，分割识别出待检测电气设备；

根据T图像的温度值和不同电气设备过热检测标准，检测电气设备是否存在过热现象；

其中，所述构建图像目标分割模型，包括：

将RGB-T图像构成6通道图像，其中，RGB图像和T图像分别为3通道图像；

对T图像进行5次卷积及4次下采样表示为i表示第i次卷积；对RGB图像进行4次卷积和3次下采样表示为j表示第j次卷积，当i＝j时，与所包含特征图数量和大小相同；

对经过一次上采样和一次卷积后得到将经过特征拼接及一次卷积后得到

都一次上采样和一次卷积后分别得到将经过特征拼接及一次卷积后得到经过特征拼接及一次卷积后得到

都经过一次上采样及一次卷积后分别得到经过特征拼接及一次卷积得到特征拼接后经过一次卷积得到将及特征拼接后经过一次卷积得到

对分别经过一次上采样和一次卷积后得到将及特征拼接后经过一次卷积得到将特征拼接后经过一次卷积得到及特征拼接后经过一次卷积得到将经过特征拼接后经过一次卷积得到

采用大小为1×1×M的模板对输出卷积，调整输出特征图的通道数量，其中M为待检测电气设备种类数。

2.如权利要求1所述的基于RGB-T多尺度特征融合的电气设备故障检测方法，其特征在于，所述RGB-T图像，包括：

采用的红外热像仪，同时采集场景的RGB图像和T图像；且所述RGB-T图像中的RGB图像和T图像大小一致、场景一致。

3.如权利要求2所述的基于RGB-T多尺度特征融合的电气设备故障检测方法，其特征在于，还包括：

当所述RGB-T图像中的RGB图像和T图像的大小不一致时，对RGB图像进行下采样，使采样后的RGB图像与T图像大小及分辨率一致；

当所述RGB-T图像中的RGB图像和T图像的场景不一致时，对RGB图像和T图像做配准，使RGB图像和T图像的像素点与场景一一对应。

4.如权利要求1所述的基于RGB-T多尺度特征融合的电气设备故障检测方法，其特征在于，所述根据损失函数，通过标签样本对图像目标分割模型的进行深度监督训练，具体包括：

根据损失函数，通过标签样本对4路输出分别进行深度监督训练，得到图像目标分割模型参数；且，在的输出上附带C核的1×1卷积和sigmoid激活函数，C为数据集中总样本标签的类别数。

5.如权利要求4所述的基于RGB-T多尺度特征融合的电气设备故障检测方法，其特征在于，所述损失函数，定义如下：

其中，L_loss表示损失函数，其定义了像素级的交叉熵和Dice损失函数构成的混合函数，k表示图像中第k个像素点，c表示分类，C为数据集中总样本标签的类别数，N为图像像素点的个数，为真值标签，表示是否分类正确，其值为0或者1，表示图像中第k个像素点分为c类的预测概率。

6.如权利要求4所述的基于RGB-T多尺度特征融合的电气设备故障检测方法，其特征在于，所述标签样本，其制作步骤包括：

对RGB-T图像中的RGB图像和T图像样本分别通过手动制作待检测电气设备的标签，构成RGB标签样本和T标签样本；其中，RGB标签样本包括RGB图像及其标签图像，T标签样本包括T图像及其标签图像。