[发明专利]一种视频多目标跟踪与分割系统和方法

说明书

本发明公开了一种视频多目标跟踪与分割系统和方法。该系统包括：视频获取模块，用于获取待处理视频；特征提取模块，与视频获取模块连接，用于提取多个视频帧的特征；目标框检测分支，与特征提取模块连接，用于生成每个视频帧包含的目标的目标框、类别和置信度；语义分割分支，与特征提取模块连接，用于生成每个视频帧包含的目标的分割掩膜；时空嵌入分支，与特征提取模块连接，用于对所述多个视频帧中的每个目标的分布进行估计。本发明通过时空信息可以学习到更具有区分性的嵌入信息，提高系统的跟踪性。

技术领域

本发明实施例涉及视频多目标跟踪与分割技术领域，尤其涉及一种视频多目标跟踪与分割系统和方法。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

多目标跟踪与分割（Multi-Object Tracking and Segment，MOST）主要任务是根据每一帧图像中目标的检测结果，匹配已有的目标轨迹和分割掩膜；对于新出现的目标，需要生成新的目标分割掩膜；对于已经离开摄像机视野的目标，需要终止轨迹的跟踪。这一过程中，检测结果与已有的目标轨迹的匹配可以看作为目标的重识别，例如，当跟踪多个行人时，把已有的轨迹的行人图像集合看作为图像库（gallery），而检测图像看作为查询图像（query），检测结果与已有的目标轨迹的匹配关联过程可以看作在图像库中检索查询图像的过程。由于实例掩模能够精确地描绘出可见物体的边界和分离的邻接关系，多目标跟踪与分割不仅提供像素级的分析，更重要的是鼓励学习比基于边界框（bounding box，bbox）的方法更具区分性的实例特征，以便于更稳健的相似性度量。

多目标跟踪与分割有许多实际应用，如视频监控、人机交互和虚拟现实。这些实际需求引起了人们对这一话题的极大兴趣。除了需要设计复杂的外观模型或运动模型，解决具有挑战性的问题，如尺度变化、光照变化、确定目标的数量和维持各自的身份信息（Identity，ID）外，还需要解决诸如频繁遮挡、相似外观、多目标间的相互影响的问题。

多目标跟踪与分割通常按照“检测-跟踪-分割”的模式，具有目标定位的检测模型，用于将数据关联的外观嵌入跟踪模型以及分割模型。然而，目前的多目标跟踪与分割系统的跟踪性仍受到很大限制。

发明内容

本发明提供一种视频多目标跟踪与分割系统和方法，以解决现有技术中存在的上述问题。

第一方面，本发明实施例提供了一种视频多目标跟踪与分割系统，该系统包括：

视频获取模块，用于获取待处理视频，所述待处理视频由多个视频帧组成，所述多个视频帧中包含多个目标；

特征提取模块，与所述视频获取模块连接，用于使用基于3D卷积扩展的多尺度信息整合模块，提取所述多个视频帧的特征；

目标框检测分支，与所述特征提取模块连接，用于基于所述多个视频帧的特征，生成每个视频帧包含的目标的目标框、类别和置信度；

语义分割分支，与所述特征提取模块连接，用于基于所述多个视频帧的特征，生成每个视频帧包含的目标的分割掩膜；

时空嵌入分支，与所述特征提取模块连接，用于基于所述多个视频帧的特征，对所述多个视频帧中的每个目标的分布进行估计，得到每个目标的轨迹分布似然值。

在一实施例中，所述特征提取模块包括金字塔结构的特征提取器，所述特征提取器用于：

基于每个视频帧的4个相邻的视频帧，得到所述每个视频帧对应的4个不同尺度的特征图F₁、F₂、F₃和F₄。

在一实施例中，所述特征提取器包括：