[发明专利]基于特征深度聚合网络的图像型火灾探测器位姿估计方法

权利要求书

1.基于特征深度聚合网络的图像型火灾探测器位姿估计方法，其特征在于，包括以下步骤：

S1、在不同的建筑环境中进行数据采集，采集的数据包括RGB图像、深度图以及同时记录的每帧图像拍摄时的相机位姿；

S2、对S1中采集的数据进行数据预处理，具体为：

S21、将S1中采集的数据分为训练集与测试集；

S22、根据训练集中的深度图与相机位姿计算像素点对应的真实场景坐标；

S23、对训练集中的图像进行数据增强处理；

S24、对训练集中的数据增强处理后的RGB图像以及测试集中的RGB图像进行归一化处理；

S3、搭建特征深度聚合网络；

所述特征深度聚合网络包括三部分：第一部分是特征提取层，对建筑场景中的图像进行低级和高级特征提取，分别对低级和高级特征中的几何空间信息以及语义信息进行编码；第二部分是特征融合层，使用通道注意力机制对提取到的不同尺度上的特征图进行融合，实现对环境信息更加精细的编码；第三部分是回归层，用于预测场景坐标与不确定度；

所述特征融合层以第一、二、三特征图作为输入；第三特征图通过通道注意力模块生成第四特征图，第四特征图与第二特征图逐像素相加获得第五特征图；第五特征图通过卷积层获得第六特征图，第六特征图通过注意力模块获得第七特征图；第七特征图与第一特征图逐像素相加获得第八特征图，第八特征图通过卷积层获得第九特征图；第三、六、九特征图在通道维度拼接获得第十特征图；

所述通道注意力模块，输出特征图可表示为其中m_i为输入特征图，P_global为全局平均池化，C_1×1为卷积核为1×1的卷积层与批规范化，δ指sigmoid激活函数，为逐像素相乘，m_o为输出特征图；

S4、对特征深度聚合网络进行训练，具体为：

S41、将S24中的训练集中归一化处理后的RGB图像输入到S3中搭建的特征深度聚合网络，进行一次样本训练，得到训练后的网络模型；

S42、将S24中的测试集中归一化处理后的RGB图像输入到S41中训练后的网络模型中，获得每个像素点所对应的预测场景坐标与不确定度；

S43、根据S42中的预测场景坐标与不确定度，获得预测相机位姿；

S44、根据S43中的预测相机位姿与S1中采集的相机位姿进行比较，得到位姿误差，该位姿误差与上一次测试得到的位姿误差进行比较，保留位姿误差小的网络模型；

S45、重复上述S41-S44，直到得到最优的网络模型；

对特征深度聚合网络进行训练时使用深度监督技术，所述深度监督技术，分别根据第三、十特征图，使用回归层预测预测场景坐标与不确定度，随后分别计算辅助损失L₁与主损失L₂，辅助损失与主损失相加获得总损失L_reg，相加方式为L_reg＝L₂+0.4L₁；

S5、将测试集中归一化处理后的RGB图像输入到S45得到的最优的网络模型中，计算图像型火灾探测器的位姿。

2.根据权利要求1所述的基于特征深度聚合网络的图像型火灾探测器位姿估计方法，其特征在于，S22中像素点对应的真实场景坐标的计算方法，具体为：根据采集的深度图，获得像素点对应的相机坐标P_c，结合相机位姿T_cw，计算像素点对应的真实场景坐标

3.根据权利要求1所述的基于特征深度聚合网络的图像型火灾探测器位姿估计方法，其特征在于，S23中数据增强处理具体为：对于训练集中的RGB图像与深度图，沿水平方向或竖直方向平移-20～20像素，图像大小缩放0.7至1.5倍，图像旋转-30°至30°，以增加建筑数据库的样本数目。

4.根据权利要求1所述的基于特征深度聚合网络的图像型火灾探测器位姿估计方法，其特征在于，特征提取层包括一系列卷积层，用于对建筑图像中的特征进行编码，获得第一、二、三特征图。

5.根据权利要求1所述的基于特征深度聚合网络的图像型火灾探测器位姿估计方法，其特征在于，回归层包括一系列卷积层，用于预测建筑中的预测场景坐标与不确定度。