[发明专利]一种基于多线索的在线多目标跟踪方法和系统

说明书

本发明公开了一种基于多线索的在线多目标跟踪方法和系统，属于多目标跟踪领域。一方面提出了一种相机运动强度指标，自适应地集成目标运动模型和相机运动模型；另一方面通过将图像网格化，然后将每一帧的观测量映射到网格中，形成一个三维的独热编码特征图，再结合积分图为每条跟踪轨迹分配与之相邻的观测量，从而将数据关联的时间复杂度从平方复杂度降低到了线性复杂度；此外还构建了一个结合可视度估计的多任务表观特征网络，联合训练后根据每个观测对象和跟踪序列中每个历史对象的尺度、长宽比、可视度以及时间间隔差异，对跟踪序列中每个对象的特征进行自适应加权并融合。本发明提高了多目标跟踪的准确性和效率，缓解了特征不对齐的问题。

技术领域

本发明属于视频场景理解与分析领域中的多目标跟踪领域，更具体地，涉及一种基于多线索的在线多目标跟踪方法和系统。

背景技术

近些年，随着计算机视觉技术和相关硬件设备的不断发展，国内外各大互联网公司纷纷研究并推出智能机器人、汽车或者监控等摄像装备，以跟随国家的规划以及时代的潮流。视频监控作为获取外部信息的主要方式之一，国内外各类视频监控设备所获取的视频数据都是急速增加的，那么如何充分有效地利用好这批数据就成为了一大难题。而使用人力来逐步筛选处理视频数据的方式显得不现实，急需合适的自动化处理软件来解放受限的处理能力。

作为计算机视觉中的一项中层任务，多目标跟踪技术服务于姿态估计、动作识别和行为分析等。相对地，单目标跟踪(Single Object Tracking，SOT)则应用于一些简单场景，对于SOT任务，一般被划分五个部分：运动模型、特征提取、观测模型、模型更新和集成方法。单目标跟踪主要解决的问题有遮挡、形变、背景干扰、尺度变换、光照、低分辨率、运动模糊、快速运动、超出视野、平面内旋转和平面外旋转等。而多目标跟踪则在此基础上增添了某些挑战，如：目标间的频繁遮挡、目标轨迹的起始和重连、目标数量不定、目标外观相似等。近些年来，多目标跟踪方向的解决方案层出不穷，有以联合概率分布、多假设跟踪和随机集为代表的概率预测型跟踪，还有以偶图匹配、最小代价流等为代表的确定性优化型跟踪，除此之外，研究者们还结合单目标跟踪的优势对多目标跟踪进行改进，并针对目标的社会交互模型进行了分析。

然而目前绝大多数的多目标跟踪算法中，对于运动模型的建模，没有充分考虑目标运动和相机运动的特性，也没有分析二者之间的相容性，导致运动模型间存在相互干扰。另外，由于跟踪轨迹与观测行人框之间的数据关联是一个多对多的全连接关系，复杂度很高，尤其是在每层连接间存在大量复杂操作的时候，耗时严重。而且，对于表观模型，由于不同时空下的目标分辨率、姿态等等的差异，导致行人特征没有对齐，从而使得目标身份的判定变得更加困难。

发明内容

针对现有技术的缺陷，本发明的一方面目的在于提供一种基于多线索的在线多目标跟踪方法和系统，旨在解决现有多目标跟踪任务中运动模型间存在相互干扰导致运动信息利用不充分的技术问题。

为实现上述目的，本发明提供了一种基于多线索的在线多目标跟踪方法，包括以下步骤：

通过相机运动强度将目标运动模型和相机运动模型进行自适应集成得到集成运动模型，获取初步预测的每个目标的跟踪轨迹；

利用所述每个目标的跟踪轨迹对观测目标框进行补充；训练区域回归网络，对补充后的观测目标框进行校正，得到校正后的观测目标框；

数据关联：计算跟踪轨迹和观测目标框两者在运动状态、表观特征上的差异，为每个跟踪轨迹分配对应的观测目标框；

对跟踪轨迹进行更新、补充和删减，完成当前帧的跟踪。

进一步地，所述通过相机运动强度将目标运动模型和相机运动模型进行自适应集成得到集成运动模型包括：

利用相机运动强度完成对目标运动模型的修正；其中，所述相机运动强度其中W表示相机运动模型得到的仿射矩阵，R＝[I；O]表示没有相机运动时仿射矩阵对应的初始矩阵，O表示全零矩阵，I表示单位矩阵；