[发明专利]端到端的3D-CapsNet火焰检测方法及装置

权利要求书

1.一种端到端的3D-CapsNet火焰检测方法，其特征在于，其包括以下步骤：

选择火焰样本图像，构建火焰样本集合；所述火焰样本集合包括正样本和负样本；

创建火焰检测初始模型，所述火焰检测初始模型包括两个VGG16网络、深度特征预选层以及CapsNet网络的部分结构，所述CapsNet网络的部分结构包括主胶囊层、数字胶囊层以及全连接层；所述两个VGG16网络的输出端依次经由深度特征预选层以及CapsNet网络的部分结构输出检测结果；

通过Mnist数据集对CapsNet网络进行训练，将对CapsNet网络进行训练形成的主胶囊层参数、数字胶囊层参数以及全连接层参数迁移至火焰检测初始模型的主胶囊层、数字胶囊层以及全连接层；

通过火焰样本集合对火焰检测初始模型进行训练，形成最终的火焰检测模型；

采集目标图像，将火焰标准图像的RGB三通道图像输入火焰检测模型的第一输入端，将所述目标图像的RGB三通道图像输入火焰检测模型的第二输入端，经由火焰检测模型输出最终的检测结果；所述第一输入端和第二输入端分别为两个VGG16网络的输入端。

2.如权利要求1所述的端到端的3D-CapsNet火焰检测方法，其特征在于，所述深度特征预选层包括：全卷积层以及提取层；

所述第一输入端用于输入火焰标准图像的RGB三通道图像，所述第二输入端用于输入相关图像，所述相关图像为火焰样本集合中的火焰样本的RGB三通道图像或目标图像的RGB三通道图像；所述第一输入端对应的VGG16网络的Conv4-3输出第一深度特征矩阵，所述第二输入端对应的VGG16网络的Conv4-3输出第二深度特征矩阵；所述第一深度特征矩阵和第二深度特征矩阵分别对应第一深度特征图像和第二深度特征图像；

所述第一深度特征矩阵和第二深度特征矩阵通过全卷积层进行全卷积操作，得到响应矩阵，所述响应矩阵对应响应图像，根据所述响应矩阵确定响应图像的最大值位置(x_m，y_m)，基于线性插值的方式通过所述最大值位置(x_m，y_m)找到第二深度特征图像中的最大值位置(x_mf，y_mf)；

通过预选框在第二深度特征图像中构建第三深度特征图像，所述预选框为四个点：x_mf-2、y_mf-2、x_mf+3以及y_mf+3围成的区域，所述围成的区域在第二深度特征图像中的部分即为第三深度特征图像，获取第三深度特征图像对应的第三深度特征矩阵；将第三深度特征矩阵输入所述CapsNet网络的部分结构。

3.如权利要求2所述的端到端的3D-CapsNet火焰检测方法，其特征在于，通过火焰样本集合对火焰检测初始模型进行训练，形成最终的火焰检测模型；包括：

所述火焰样本集合的正样本或负样本的RGB三通道图像输入至第二输入端，将所述火焰标准图像的RGB三通道图像输入至第一输入端；

根据火焰检测初始模型的输出结果以及对应的火焰样本集合的样本标签对所述火焰检测初始模型的参数进行修正；其中，训练时，正样本的样本标签以及正样本对应火焰检测初始模型的输出结果用于对火焰检测初始模型的参数进行修正；负样本不参与火焰检测初始模型的参数修正；对火焰检测初始模型的参数进行修正包括对火焰检测初始模型的主胶囊层、数字胶囊层以及全连接层的参数进行修正。

4.如权利要求2或3所述的端到端的3D-CapsNet火焰检测方法，其特征在于，所述火焰标准图像的大小为80×80，相关图像的大小为640×480；第一深度特征矩阵为20×20×512的矩阵，第二深度特征矩阵为160×120×512的矩阵；响应矩阵为(160-20+1)×(120-20+1)×1＝141×101×1的矩阵；第三深度特征矩阵为6×6×512的矩阵。