[发明专利]图像和激光点云融合的目标追踪方法、计算装置和介质

权利要求书

1.一种基于车辆上的图像传感器获得的2D图像数据和激光传感器获得的3D激光点云数据来追踪车辆周围的目标的目标追踪方法，包括：

获得所追踪目标在3D空间中的K时刻的最优估计，所述最优估计是利用预定算法从追踪对象在3D空间中的K时刻的观测值和K时刻的预测值计算得到；

利用K时刻的最优估计获得3D空间中的K+1时刻的预测值；

判断从K+1时刻的3D激光点云数据是否能检测出K+1时刻的观测值；

在判断不能从K+1时刻的3D激光点云数据检测出K+1时刻的观测值时，

利用所述3D激光点云空间中的追踪目标的K时刻的最优估计，将追踪目标投影到K时刻的2D图像数据对应的2D空间中，计算2D图像空间中对应目标投影区域的K时图像特征；

利用K时刻的最优估计、K+1时刻的预测值和K时图像特征，确定K+1时刻的伪观测值。

2.根据权利要求1的目标追踪方法，所述利用K时刻的最优估计、K+1时刻的预测值和K时图像特征，确定K+1时刻的伪观测值包括：

在K+1时刻的2D图像空间中，确定与所述目标区域的K时图像特征匹配的匹配区域；

在3D激光点云空间中，基于K+1时预测值，产生多个候选3D对象中心点；

将所述多个候选3D对象中心点投影到2D图像空间中得到多个候选2D对象中心点；

计算各个候选2D候选对象中心点中与所述匹配区域的距离，确定距离最小的候选2D对象中心点，将所述距离最小的候选2D对象中心点对应的候选3D对象中心点的相关数据作为k+1时刻的伪观测值。

3.根据权利要求1的目标追踪方法，所述利用K时刻的最优估计、K+1时刻的预测值和K时图像特征，计算K+1时刻的伪观测值包括：

在3D激光点云空间中，基于K+1时预测值，产生多个候选3D对象中心点；

根据对象的几何信息计算每个候选3D对象中心点的外接长方体；

将每个候选3D对象中心点的外接长方体投影到2D图像空间；

计算每个候选3D对象中心点的外接长方体投影到2D图像空间的投影区域；

计算各个投影区域的图像特征，与k时刻图像特征进行比较，找到最匹配的投影区域，并确定与最匹配的投影区域对应的候选3D对象中心点作为K+1时的伪观测值。

4.根据权利要求1的目标追踪方法，所述利用K时刻的最优估计、K+1时刻的预测值和K时图像特征，计算K+1时刻的伪观测值包括：

在3D激光点云空间中，基于K+1时预测值，产生多个候选3D对象中心点；

将每个候选3D对象中心点投影到2D图像空间，得到候选2D对象中心点；

根据对象的几何信息在2D图像空间确定每个候选2D对象中心点的外接矩形；

计算各个外接矩形的图像特征，与k时刻图像特征进行比较，找到最匹配的外接矩形，并确定与最匹配的外接矩形对应的候选3D对象中心点作为K+1时的伪观测值。

5.根据权利要求1到4任一项的目标追踪方法，还包括：

基于K+1时刻的伪观测值、K+1时刻的预测值，利用预定算法计算得到K+1时刻的最优估计。

6.根据权利要求5所述的目标追踪方法，还包括：

利用K+1时刻的最优估计获得3D空间中的K+2时刻的预测值；

判断从K+2时刻的3D激光点云数据是否能检测出追踪目标；

在确定从K+2时刻的3D激光点云数据不能检测出追踪目标时，

利用所述3D激光点云空间中的追踪目标的K+1时刻的最优估计，将追踪目标投影到K+1时刻的2D图像数据对应的2D空间中，计算2D图像空间中对应目标投影区域的K+1时图像特征；

利用K+1时刻的最优估计、K+2时刻的预测值和K+1时图像特征，确定K+2时刻的伪观测值。

7.根据权利要求1到4任一项所述的目标追踪方法，所述图像特征是方向梯度直方图HOG、局部二值模LBP、颜色直方图特征中的一个或组合。