[发明专利]一种基于多任务特征提取网络的视觉惯性SLAM系统

权利要求书

1.一种基于多任务特征提取网络的视觉惯性SLAM系统，包括：多任务特征提取网络与三维地图构建模块；其特征在于，

获取图像数据信息，将图像数据信息输入多任务特征提取网络，对特征进行检测跟踪，

传感器数据处理完成后，检查系统是否已完成初始化，如果未初始化，则对系统进行视觉惯性联合初始化；

初始化完成后，使用滑动窗口对固定数目的关键帧的位姿、IMU偏差进行优化，从而进行位姿估计，

三维地图构建模块将结合系统估计出的相机位姿与相机视频流，利用surfel模型和变形图完成三维重建。

2.根据权利要求1所述的一种基于多任务特征提取网络的视觉惯性SLAM系统，其特征在于，利用surfel模型和变形图完成三维重建，具体包括：通过位姿估计和优化得到精确的相机位姿，

将双目相机获得的每幅图像的像素点投影到世界坐标系中，

通过点云数据融合，得到surfel三维地图。

3.根据权利要求1所述的一种基于多任务特征提取网络的视觉惯性SLAM系统，其特征在于，多特征提取网络由一个共享的主干网和两个子模块组成，两个子模块包括位置模块与描述子模块，位置模块包括两个卷积层，其中一个卷积层使用ReLU激活函数，另一个卷积层使用sigmoid激活函数，描述子模块接收主干网处理后的图片，有两个卷积层，信道数均为256，在每个卷积层之后是ReLU激活函数，根据位置模块输出的特征点相对位置坐标P_relative，采用双三次插值生成对应的描述子D_image。

4.根据权利要求3所述的一种基于多任务特征提取网络的视觉惯性SLAM系统，其特征在于，主干网包括四个卷积层，四个卷积层中的信道数为32-64-128-256，积层之间都有一个最大池化层，共三个最大池化层，每个最大池化层的跨距和内核大小都为2，在每个最大池层之后，后续卷积层的通道数将增加一倍，因此通过主干网处理后，输出图片的一个像素是输入图片的8x8个像素。

5.根据权利要求4所述的一种基于多任务特征提取网络的视觉惯性SLAM系统，其特征在于，所述位置模块预测输入图像的特征点的相对位置坐标P_relative，从相对位置坐标P_relative转换到图像像素坐标P_image的映射由以下公式计算：

P_image,x＝(c+P_relative,x)·f

P_image,y＝(r+P_relative,y)·f

其中，c是x坐标的列输入索引，r是y坐标的行输入索引。f是下采样因子，并且f＝8。

6.根据权利要求1所述的一种基于多任务特征提取网络的视觉惯性SLAM系统，其特征在于，所述surfel模型包括若干个surfel面元，变形图包括若干个节点。

7.根据权利要求6所述的一种基于多任务特征提取网络的视觉惯性SLAM系统，其特征在于，每个节点σⁿ包含了旋转矩阵σ_R，平移矩阵σ_t，时间和位置σ_g，受到变形图影响后的面元的位置由以下公式给出：

其中ωⁿ(M^S)表示节点σⁿ对面元影响的权重，则ωⁿ(M^S)可以表示为：

其中d_max表示M^S到最近面元的欧式距离。

8.根据权利要求1所述的一种基于多任务特征提取网络的视觉惯性SLAM系统，其特征在于，还包括自监督训练框架，所述自监督训练框架包括若干张用于训练的图像，每张用于训练的图像会被分成两张，其中一张是保持不变的原始图像A，另一张是通过变换矩阵和随机非空间图像增强变换后的的图像B；

通过多任务网络分别检测A、B两张图像的特征点和描述子，然后从A、B两张图像中建立点对应；

在损失函数中使用点对应来训练模型；

假设A、B两张图像中共有N个点对，每个点对的距离用欧氏距离表示：

其中，表示图像A中特征点的位置，表示图像B中特征点的位置，T表示变换矩阵，并且变换矩阵T与图像A到图像B的变换矩阵相同。