[发明专利]一种基于深度学习的火灾及烟雾实时检测方法

权利要求书

1.一种基于深度学习的火灾及烟雾实时检测方法，其特征在于步骤如下：

步骤1、图像预处理：将火灾或烟雾图像从RGB色彩空间转换为HSI色彩空间，分离出来的亮度I值为连续变换值：

将转换得到的HSI图像分块，原图像尺寸为H*W，分块图像尺寸为h*w，则共有个小块，按照从左到右，从上到下的顺序对图像块进行排序，对每个图像块进行直方图均衡；

其中：HE表示直方图均衡处理，I_i表示第i个图像块，表示经过直方图均衡后对应的图像块；

按分块时的顺序将图像块依次拼回，对于每个图像块的相邻处采用双线性插值进行平滑，

按照下式操作，由已知的四个点的像素值得到这四点围成矩形区域中任意一点的像素值；

其中：f(x，y)为插值得到的(x，y)处的像素值，f(x₁，y₁)为(x₁，y₁)处的像素值，f(x₁，y₂)、f(x₂，y₁)和f(x₂，y₂)；

将增强后的图像重新映射回RGB颜色空间，即得到视觉特征增强后的火灾和烟雾图像；

步骤2、网络模型的构建及训练：选择ResNet-34、ShuffleNet-V2或者Darknet-53轻量级网络作为主干网络，使用空洞卷积代替普通卷积，从而在特征提取阶段加入丰富的背景信息，加入特征增强处理来提取更具差异性的前景信息，从而获得对图像中火灾和烟雾区域进行高效特征提取的深度网络模型：

特征增强的操作流程为：

M_e(F)＝F+M_c(F)+M_s(F+M_c(F))

其中：M_e(F)表示注意力模块，M_c(F)表示通道注意力模块，M_s(F)表示空间注意力模块，F表示输入特征图；

所述M_c(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F))

其中：MLP表示多层感知机，AvgPool表示平均池化操作，MaxPool表示最大池化操作，σ表示sigmoid函数；

所述σ

所述空间注意力M_s(F)

M_s(F)＝σ(f^7*7([AvgPool(F)；AMaxPool(F)]))

其中：f^7*7表示使用7*7的空洞卷积核对特征图进行卷积，[x1；x2]操作表示将x1与x2在通道维度上进行拼接；

采用分类损失、回归损失和置信度损失构建整个网络模型的损失函数，如下：

Loss＝α*L_cls+β*L_reg+γ*L_obj

其中L_cls为分类损失，L_reg为边界框回归损失，L_obj为置信度损失，α、β和γ分别表示分类损失、回归损失和置信度损失在优化网络的损失函数中所占比重；将标记图片和标记信息输入网络模型，利用最小化损失的思想，采用随机梯度下降的方法训练网络模型；

步骤3、多尺度目标检测：标记好的训练图像改变尺寸为H*H之后送入步骤2所构建的网络模型之中，经过网络模型的卷积、池化和跳跃连接操作，得到的特征图为H/S*H/S，即主干网络的步长为S；将步骤2中的主干网络输出的特征图(H/S*H/S)进行2倍上采样并且与前一尺度的特征图进行拼接便得到了其他两个尺度的特征图(2H/S*2H/S和4H/S*4H/S)，得到了3种尺度的特征图；三个尺度的特征图上分别负责不同尺寸目标的检测，H/S*H/S特征图上进行大目标的检测，2H/S*2H/S特征图负责对中等尺度的目标进行检测，4H/S*4H/S的特征图完成对小目标进行检测。三个尺度的检测完成后，将最终结果融合输出；

步骤4、检测后处理：首先采用非极大值抑制删除冗余的检测框，然后根据同类别的各目标区域的数量和彼此之间的距离远近关系，衡量检测得到的各个目标区域的置信度得分，进而决定是否对当前置信度进行提升；

置信度提升算法的具体步骤：

给定得分阈值score_thresh和低置信度阈值low_conf_thresh；

对于检测框bbox_i的置信度conf，如果conf≥low_conf_thresh则直接将检测结果输出；如果socre_thresh≤conflow_conf_thresh成立；

并且图像中单一类别bbox个数N≥N_t和密集系数δ≥δ_t均成立，其中N_t为检测框个数阈值；

δ_t为密集系数阈值：

其中：H，W分别为当前检测图像的高和宽，α为距离放缩因子；

最终检测框bbox_i提升后的置信度conf_inc为：

其中λ为松弛因子，σ表示sigmoid函数为：

经过本步骤，输出经过检测后处理的针对输入图像的火灾和烟雾最终检测结果。

2.根据权利要求1所述基于深度学习的火灾及烟雾实时检测方法，其特征在于：所述将输入图像从RGB颜色空间转至HSI空间的转换式为：

其中R，G，B分别为RGB图像像素点三个通道的值，H，S，I分别为HSI图像像素点三个通道的值，min(·)为取最小值函数；

所述