[发明专利]基于实例分割与多传感器融合的移动机器人定位方法、系统及介质

权利要求书

1.基于实例分割与多传感器融合的移动机器人定位方法，其特征在于，包括下述步骤：

对相机图像进行目标实例分割，得到分割掩膜；

根据语义标签和分割掩膜，对目标实例分割后的静态物体部分进行特征点的提取和追踪；

基于针孔相机的立体视觉模型，由同一特征点在左右相机中的投影视差计算出该点的深度值，从而获取特征点的三维坐标，根据特征点在相机上的投影坐标和在世界坐标下的三维坐标，使用EPnP算法对当前相机的位姿进行求解；

建立IMU测量模型，使用预积分的方式进行位姿解算；所述IMU测量模型，具体为：

其中，为机器人运动过程中加速度计和陀螺仪传感器上的测量值，a_t，ω_t为机器人运动的实际加速度和角速度值，n_a，n_ω分别为两种传感器测量的随机噪声，为t时刻两个传感器测量的偏差噪声，为t时刻IMU在世界坐标系下的姿态，g^w表示重力向量；

所述使用预积分的方式进行位姿解算，具体为：

其中：

分别为位置、速度和姿态的预积分值，表示第i-1帧时刻世界坐标系转化为机器人坐标系的旋转矩阵，和分别表示机器人在t时刻相对于第i-1帧时刻的旋转变化的旋转矩阵形式和四元数形式，表示第i帧时刻的机器人相对于世界坐标的位置与姿态的四元数表示，表示第i帧时刻的速度，同理，表示第i-1时刻，Δt表示IMU数据之间的时间间隔；通过IMU测量获得机器人当前时刻的位置，姿态和速度；

根据图像亮度、动态物体覆盖情况、特征点提取情况和平均深度，选取位姿初值的更新方式；

构建IMU预积分的测量残差、视觉重投影残差，进行紧耦合的非线性优化，获取更加准确的位姿状态。

2.根据权利要求1所述基于实例分割与多传感器融合的移动机器人定位方法，其特征在于，采用Mask R-CNN算法对相机图像进行目标实例分割，将相机图像中的背景、人物、动物和车辆分割开，并获取对应的语义标签，根据语义标签信息，将常识中被认为可移动的物体上的像素标记为1，不可移动的物体上的像素标记为0，得到由0、1组成的分割掩膜。

3.根据权利要求1所述基于实例分割与多传感器融合的移动机器人定位方法，其特征在于，所述对目标实例分隔后的静态物体部分进行特征点的提取和追踪，具体为：

根据得到的分割掩膜，在标记为0的像素区域提取FAST角点作为特征点，在往后图像帧和左右图像帧中使用KLT稀疏光流算法对特征点进行追踪，追踪到的特征点和原先的特征点标记为同一点。

4.根据权利要求1所述基于实例分割与多传感器融合的移动机器人定位方法，其特征在于，使用MyntEye-D相机，根据其成像原理构建针孔相机的立体视觉模型，数学转化关系如下：

其中，u和v分别为特征点在图像上的横纵坐标系，X,Y,Z为特征点在相机坐标系下的三维坐标，f_x，f_y为相机的横向焦距和纵向焦距，u₀，v₀为相机中心点的坐标参数；

基于针孔相机立体视觉模型，根据同一个特征点在左右相机图像上的视差计算出该点的深度信息，其计算公式为：

d＝u_L-u_R

其中，b为左右相机光心的距离，d为视差，u_L和u_R分别为特征点在左相机和右相机上投影的横坐标，f_x为横向焦距；

已知前一帧的特征点在相机坐标系下的三维坐标以及相机的位姿，使用坐标系转化公式获取特征点在世界坐标系下的三维坐标，基于特征点的三维坐标和当前帧的投影坐标使用EPnP算法求解出当前帧的相机位姿。