[发明专利]弱对齐条件下的消防机器人多模态视觉火焰检测方法

说明书

本发明公开了一种弱对齐条件下的消防机器人多模态视觉火焰检测方法，设计了并行的可见光火焰检测网络与热成像火焰检测网络，利用可见光火焰检测网络输出的可见光检测框信息投影到热成像图像中，并使用一个近邻采样模块在其中心处生成一系列样本检测框。相较于传统的RPN的遍历式采样，本发明仅在一个较小的范围内采样，使用热成像网络的分类器与回归器对检测框修正后，可以在热成像图像中得到精确的检测框。同时，为了解决弱对齐情况下的多模态信息融合问题，提出注意力引导模块融合可见光图像与热成像图像的信息，通过热成像特征图生成的注意力与跨模态检测框信息，以区域对应的方式优化可见光特征图，达到增加火焰检测准确度，降低误报率的效果。

技术领域

本发明涉及火焰检测技术领域，尤其涉及一种弱对齐条件下的消防机器人多模态视觉火焰检测方法。

背景技术

得益于机器人技术在本世纪的快速发展，机器人已被逐渐应用于消防领域。消防机器人可以被遥控进入极端危险的火场作业，从而保证消防员的人身安全；或是用于火警的快速响应，在火情较小时自主对其进行控制。随着机器人技术的发展，智能的、自主的消防机器人是未来的趋势。

对于智能消防机器人来说，火焰检测技术是其重要组成部分，火焰检测为机器人提供目标的位置信息，这是自主灭火的第一步。在可见光图像中，火焰有着丰富的颜色与纹理信息，但是检测会受到其他特征与火焰相似的物体干扰。而在热成像图像中，图像中各像素点的亮度是由该点处在环境中的相对温度决定的，由于火焰的温度一般较高，这使得火焰在热成像图像中的特征显著。

自然地，我们考虑将可见光图像与热成像图像中的火焰检测进行结合。常见方法中，将热成像图像通过自适应阈值等方法分割即可达到火焰区域分割的效果。但是，在一般的视觉系统中，热成像相机与可见光相机的安装位置与相机视野(FOV)等均存在一定差距，因此不同模态图像是未配准或弱对齐的，热成像图像需要与可见光图像进行配准，才能实现像素点之间的对应。而配准则依赖分光镜与相机的同步采集，这需要小心地设计整个视觉硬件系统，或者使用软件算法配准，而跨模态的图像特征不易匹配，导致跨模态图像配准在一般情景下可能会相对困难。

一种更便捷的解决方法是利用双目视觉。通过双目视觉获取火焰的深度信息，以及标定得到的相机内、外参数，便可以将该物体的位置从一个相机图像中投影到另一个相机的图像中。但是，由于不同模态相机的同步问题、燃烧产生的高温气体的影响、以及三维信息测量误差与相机参数标定误差的影响，可见光与热成像图像中的火焰形状会有很大不同，直接将投影得到的检测框用于检测火焰并不合适。因此，对跨模态的投影结果进行修正是有必要的。此外，上文提到的问题也为跨模态融合检测带来了困难，因为可见光图像与热成像的像素不是一一对应的，因此，有必要研究一种可以应用于弱对齐图像对的多模态融合检测方法。

发明内容

本发明的目的是提供一种弱对齐条件下的消防机器人多模态视觉火焰检测方法，可以提升火焰检测准确度，降低误报率。

本发明的目的是通过以下技术方案实现的：

一种弱对齐条件下的消防机器人多模态视觉火焰检测方法，包括：

对于同步采集的每一对可见光图像与热成像图像，各自通过特征提取器进行特征提取，获得可见光特征图与热成像特征图；

对于可见光特征图，通过区域生成网络，生成若干可见光初始物体检测框，经共享的特征编码器处理后，由可见光检测框分类器与共享的检测框回归器，获得每一可见光初始物体检测框置信度以及相应的回归检测框，筛选出置信度超过阈值的回归检测框，组成可见光检测框集合；

将每一个可见光检测框分别投影至热成像图像中，得到对应的初始热成像检测框，再通过近邻采样的方式生成若干形状不同的检测框，并通过带有掩码卷积的区域生成网络与共享的特征编码器处理后，输入热成像检测框分类器与共享的检测框回归器，再筛选出置信度超过阈值的回归检测框，作为可见光检测框对应的热成像检测框；