[发明专利]一种基于多线索的在线多目标跟踪方法和系统

权利要求书

1.一种基于多线索的在线多目标跟踪方法，其特征在于，包括以下步骤：

通过相机运动强度将目标运动模型和相机运动模型进行自适应集成得到集成运动模型，获取初步预测的每个目标的跟踪轨迹；

利用所述每个目标的跟踪轨迹对观测目标框进行补充；训练区域回归网络，对补充后的观测目标框进行校正，得到校正后的观测目标框；

数据关联：计算跟踪轨迹和观测目标框两者在运动状态、表观特征上的差异，为每个跟踪轨迹分配对应的观测目标框；

对跟踪轨迹进行更新、补充和删减，完成当前帧的跟踪；

所述通过相机运动强度将目标运动模型和相机运动模型进行自适应集成得到集成运动模型包括：

利用相机运动强度完成对目标运动模型的修正；其中，所述相机运动强度其中W表示相机运动模型得到的仿射矩阵，R＝[I；O]表示没有相机运动时仿射矩阵对应的初始矩阵，O表示全零矩阵，I表示单位矩阵；

通过以下方式获取集成运动模型

其中x_t表示t时刻的目标运动状态，P_t表示t时刻的目标运动模型误差协方差，Q表示目标运动模型噪声协方差，warp表示相机运动模型的坐标转换，α表示运动模型记忆系数，dt表示目标运动模型的时间步长。

2.如权利要求1所述的在线多目标跟踪方法，其特征在于，在进行所述数据关联之前，将所述校正后的观测目标框以独热编码的方式映射到对应区域并构建三维积分图，以获取空间区域分配关系，从而确定与每条跟踪轨迹相邻的观测目标框序列。

3.如权利要求2所述的在线多目标跟踪方法，其特征在于，将所述校正后的观测目标框以独热编码的方式映射到对应区域并构建三维积分图包括：

将图像区域均匀划分为M×N的空间区域，然后将D个观测目标框以独热编码的方式映射到对应区域，从而得到D维的特征图f，以此构建三维的积分图I(m,n)表示(m,n)处的积分图向量，f(m,n)表示(m,n)处的特征图独热编码向量；

对每条跟踪轨迹，将其最新的位置映射到M×N的空间区域，获取所述空间区域内的所有观测目标框。

4.如权利要求1-3任一项所述的在线多目标跟踪方法，其特征在于，计算跟踪轨迹和观测目标框两者在表观特征上的差异包括以下步骤：

结合每个观测对象和跟踪轨迹中每个历史对象的尺度、长宽比、可视度以及时间间隔的差异，对跟踪序列中每个历史对象的表观特征进行自适应加权并融合，最后计算融合之后的跟踪轨迹的表观特征与观测对象的表观特征之间的余弦距离；

其中所述表观特征和可视度，通过训练得到的多任务表观特征提取网络对所述校正后的观测目标框进行特征提取和可视度预测获得。

5.一种基于多线索的在线多目标跟踪系统，其特征在于，包括自适应集成模块，通过相机运动强度将目标运动模型和相机运动模型进行自适应集成得到集成运动模型，获取初步预测的每个目标的跟踪轨迹；

校正模块，利用所述每个目标的跟踪轨迹对观测目标框进行补充；训练区域回归网络，对补充后的观测目标框进行校正，得到校正后的观测目标框；

数据关联模块，用于计算跟踪轨迹和观测目标框两者在运动状态、表观特征上的差异，为每个跟踪轨迹分配对应的观测目标框；

轨迹后处理模块，用于对跟踪轨迹进行更新、补充和删减，完成当前帧的跟踪；

所述通过相机运动强度将目标运动模型和相机运动模型进行自适应集成得到集成运动模型包括：

利用相机运动强度完成对目标运动模型的修正；其中，所述相机运动强度其中W表示相机运动模型得到的仿射矩阵，R＝[I；O]表示没有相机运动时仿射矩阵对应的初始矩阵，O表示全零矩阵，I表示单位矩阵；

通过以下方式获取集成运动模型

其中x_t表示t时刻的目标运动状态，P_t表示t时刻的目标运动模型误差协方差，Q表示目标运动模型噪声协方差，warp表示相机运动模型的坐标转换，α表示运动模型记忆系数，dt表示目标运动模型的时间步长。