[发明专利]一种红外-可见光融合的深度神经网络及其建模方法

说明书

本发明提供了一种红外‑可见光融合的深度神经网络及其建模方法，包括：红外编码器模块，用于提取红外摄像机采集的红外图像特征；可见光编码器模块，用于提取可见光摄像机采集的可见光图像特征；解码器模块，将所述红外编码器模块与所述可见光编码器模块融合为融合编码器模块，所述融合编码器模块输出至所述解码器模块；模型训练模块，所述解码器模块输出至所述模型训练模块，所述模型训练模块用于对所述深度神经网络模型进行训练。本发明的一种红外‑可见光融合的深度神经网络及其建模方法，构建了基于红外图像以及可见光图像的双光融合的危险源分割网络模型，能够结合两种摄像机的优势，解决了单一红外或者单一可见光摄像机定位危险源的缺点。

技术领域

本发明涉及电力监控技术领域，具体涉及一种红外-可见光融合的深度神经网络及其建模方法。

背景技术

随着我国国民经济的增长和生活水平的提高，电力的需求也日益增加，电力系统电网规模的扩大和电力负荷的提高，使电力设备损坏、故障及严重时造成设备烧损等事故发生的可能性增加。为尽可能避免各类电力事故，减少事故导致的重大经济损失势在必行，刻不容缓。

单一的热成像系统只能定位到发热的危险源，单一的可见光系统则无法定位仅仅发热的危险源。传统的视频监控技术只提供视频捕捉、存储和回放等简单功能，不具备视频分析功能和异常判断能力，智能化程度不够高，很难起到预警和报警的作用。

发明内容

为了解决上述问题，本发明提供一种红外-可见光融合的深度神经网络及其建模方法，构建了基于红外图像以及可见光图像的双光融合的危险源分割网络模型，能够结合两种摄像机的优势，解决了单一红外或者单一可见光摄像机定位危险源的缺点。

为了实现以上目的，本发明采取的一种技术方案是：

一种红外-可见光融合的深度神经网络，包括：红外编码器模块，用于提取红外摄像机采集的红外图像特征，所述红外编码器模块包括三个Dwblock模块以及两个残差模块，红外图像依次输出至Dwblock模块、残差模块、Dwblock模块、Dwblock模块、残差模块以及1×1卷积层；可见光编码器模块，用于提取可见光摄像机采集的可见光图像特征，所述可见光编码器模块包括两个Dwblock模块以及两个残差模块，可见光图像依次输出至Dwblock模块、残差模块、Dwblock模块、残差模块以及1×1卷积层；解码器模块，将所述红外编码器模块与所述可见光编码器模块融合为融合编码器模块，所述融合编码器模块输出至所述解码器模块；以及模型训练模块，所述解码器模块输出至所述模型训练模块，所述模型训练模块用于对所述深度神经网络模型进行训练。

进一步地，所述Dwblock模块依次由数据填充、纵向卷积操作、批归一化处理、卷积操作和批归一化处理构成，其中，所述纵向卷积操作指输入图像有N个通道，就采用N个卷积核进行卷积，其中N为正整数。

进一步地，所述数据填充操作指将所述红外图像或所述可见光图像的边界进行扩充，针对每个输入x_i所述批处理归一化过程为：x_i＝(x_i-u)/(sqrt((x_i-v)²)+e)，其中，u为输入{x₁，x₂，x₃，...，x_n}的均值，v为输入{x₁，x₂，x₃，...，x_n}的方差，e是一个小小偏置，防止分母趋向于0。

进一步地，对所述批处理归一化的结果x_i进行了scale加上shift操作，即x_i＝scale*x_i+shift，其中scale和shift通过学习得到。

进一步地，当输入为x时，所述残差模块输出为F(x)+x。