[发明专利]弱对齐条件下的消防机器人多模态视觉火焰检测方法

权利要求书

1.一种弱对齐条件下的消防机器人多模态视觉火焰检测方法，其特征在于，包括：

对于同步采集的每一对可见光图像与热成像图像，各自通过特征提取器进行特征提取，获得可见光特征图与热成像特征图；

对于可见光特征图，通过区域生成网络，生成若干可见光初始物体检测框，经共享的特征编码器处理后，由可见光检测框分类器与共享的检测框回归器，获得每一可见光初始物体检测框置信度以及相应的回归检测框，筛选出置信度超过阈值的回归检测框，组成可见光检测框集合；

将每一个可见光检测框分别投影至热成像图像中，得到对应的初始热成像检测框，再通过近邻采样的方式生成若干形状不同的检测框，并通过带有掩码卷积的区域生成网络与共享的特征编码器处理后，输入热成像检测框分类器与共享的检测框回归器，再筛选出置信度超过阈值的回归检测框，作为可见光检测框对应的热成像检测框；

在所有热成像检测框中选出置信度最高的热成像检测框，并与对应可见光检测框的置信度做加权和，若加权和的大小高于设定阈值，则认为对应可见光图像与热成像图像中出现火焰。

2.根据权利要求1所述的一种弱对齐条件下的消防机器人多模态视觉火焰检测方法，其特征在于，火焰检测方法通过火焰检测网络实现，所述火焰检测网络包括：可见光火焰检测网络、热成像火焰检测网络与共享的编码与回归网络；其中：

所述可见光火焰检测网络包括：可见光特征提取器、区域生成网络与可见光检测框分类器；

所述热成像火焰检测网络包括：热成像特征提取器、投影模块、近邻采样模块、带有掩码卷积的区域生成网络与热成像检测框分类器；

所述共享的编码与回归网络包括：共享的特征编码器与共享的检测框回归器。

3.根据权利要求1所述的一种弱对齐条件下的消防机器人多模态视觉火焰检测方法，其特征在于，所述将每一个可见光检测框分别投影至热成像图像中，得到对应的初始热成像检测框包括：

对于单个可见光检测框利用相应的深度图，以及热成像相机的内参数与可见光相机和热成像相机间的外参数，将单个可见光检测框投影至热成像图像中，得到初始热成像检测框

4.根据权利要求1或3所述的一种弱对齐条件下的消防机器人多模态视觉火焰检测方法，其特征在于，将单个可见光检测框投影至热成像图像的过程中，先结合双目相机采集的深度图，建立可见光检测框区域的深度直方图，取频数最高的深度值作为可见光检测框中物体与机器人的距离z；由距离z，通过相似三角形计算深度图中每一个点的三维位置，之后，在三维空间中构建一个平行于可见光相机成像平面的三维检测框，并赋予该三维检测框与可见光检测框区域相同的深度信息，再将该三维检测框的角点投影到热成像图像中，得到热成像初始检测框

可见光检测框与热成像初始检测框中对应点的投影计算方式为：

α＝K·M·(β-T)

其中，K为热成像相机的内参数，M为可见光相机与热成像相机之间的旋转矩阵，T为可见光相机与热成像相机之间的平移向量，β＝(x，y，z)是可见光检测框的某个角点在双目相机坐标系下的三维坐标，α＝(u_t，v_t)是角点β在热成像图像中的坐标，即热成像初始检测框的对应角点；

将与的所有角点同时进行投影，则表示为如下函数形式：

其中，f_p(.)表示投影函数。

5.根据权利要求1所述的一种弱对齐条件下的消防机器人多模态视觉火焰检测方法，其特征在于，通过近邻采样的方式生成若干形状不同的检测框，并通过带有掩码卷积的区域生成网络与共享的特征编码器处理包括：

近邻采样的方式采用了锚的采样原理，锚点分布在初始热成像检测框中心，以初始热成像检测框作为中心，并计算该中心点属于热成像特征图上的某一点A，设置特征图上的点A与其八邻域点为激活处，通过过带有掩码卷积的区域生成网络，使得每一个激活处将会生成一组k个锚即k个大小形状不同的检测框，非激活处则不会生成；通过共享的特征编码器，将检测框编码为向量