[发明专利]一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法

权利要求书

1.一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法，所述方法包括：

步骤1)接收激光雷达采集的点云和相机采集的RGB图像；

步骤2)将点云数据输入三维检测器得到三维检测结果；

步骤3)将RGB图像和三维检测结果不断输入预先建立和训练好的端到端多目标跟踪网络，实时更新跟踪器，循环完成目标跟踪；

所述端到端多目标跟踪网络，用于基于RGB图像和三维检测结果，并结合上一帧轨迹的运动特征和外观特征，分别建立运动关联矩阵和外观关联矩阵进行轨迹和检测的关联，并结合遮挡情况更新跟踪器实现目标跟踪；

所述端到端多目标跟踪网络的处理过程具体包括：

对RGB图像进行图像特征提取得到每个目标的运动特征和外观特征，并输入遮挡分支；

根据三维检测结果以及运动特征和外观特征构建跟踪器；

对于收到的第一帧数据检测设置为轨迹；

对于非第一帧数据检测，结合上一帧轨迹的运动特征和外观特征分别建立运动关联矩阵和外观矩阵，并进行轨迹和检测的关联；

根据遮挡分支计算的遮挡得分选择最优外观特征进而更新跟踪器；

所述对于非第一帧数据检测，结合上一帧轨迹的运动特征和外观特征分别建立运动关联矩阵和外观矩阵，并进行轨迹和检测的关联；具体包括：

对于非第一帧数据检测，基于三维卡尔曼滤波器构建一个三维空间的运动模型，以预测对应目标下一时刻的状态，使用欧氏距离获得运动关联矩阵

式中，d_i(x,y,z)为当前时刻t的检测，t_j(x,y,z)为当前时刻t现存的轨迹，L2(·)表示欧氏距离运算；

建立外观关联矩阵Apperance_t；

对运动关联矩阵使用匈牙利算法进行运动匹配，得到关联到的轨迹和检测，对于运动匹配未成功的剩余轨迹和检测使用外观关联矩阵Apperance_t进行匹配；

对于关联成功的检测，根据遮挡分支输出的遮挡得分选择最优外观特征，从而更新跟踪器，对于关联不成功的轨迹则该轨迹为新的轨迹。

2.根据权利要求1所述的基于遮挡补偿的立体空间信息融合的多目标跟踪方法，其特征在于，所述步骤2)之前还包括对接收的点云和RGB图像进行标定和对齐。

3.根据权利要求1或2所述的基于遮挡补偿的立体空间信息融合的多目标跟踪方法，其特征在于，所述步骤2)具体包括：

将点云数据输入PointRCNN三维检测器，进行目标在三维空间中的位置检测，得到的三维检测结果包括：目标的类别、二维边界框的位置、目标中心的三维坐标系的位置、目标的长宽高、旋转角及检测得分。

4.根据权利要求3所述的基于遮挡补偿的立体空间信息融合的多目标跟踪方法，其特征在于，所述端到端多目标跟踪网络使用CenterNet作为网络的基本骨架，并连接关联分支和遮挡分支，由关联分支进行轨迹和检测的关联，再结合遮挡分支计算的遮挡得分实时更新跟踪器，完成跟踪。

5.根据权利要求1所述的基于遮挡补偿的立体空间信息融合的多目标跟踪方法，所述方法还包括：使用标准的KITTI数据集对端到端多目标跟踪网络进行训练的步骤。