[发明专利]基于层次化上下文引导的多目标跟踪方法

说明书

本发明提供一种基于层次化上下文引导的多目标跟踪方法，并提出了一种新的分层上下文引导网络，该网络通过分层地视频帧全局处理、局部处理和对象包围框处理来执行检测、包围框特征提取和对象位置细化。该跟踪器分别以全局和局部的方式学习视频帧的时间和空间上下文特征，引导多尺度特征聚合，从而定位感兴趣的区域，提取丰富的包围框特征。这样，每个检测的包围框除了语义信息外，还包含上下文关系信息，减少了不完整或不清楚的对象的重要信息的丢失。基于学习到的上下文特征，设计了一个上下文引导的对象位置细化模块，通过传播对象在每一帧的包围框特征来学习目标对象轨迹片段的代表性特征，并根据代表性特征生成位置细化后的对象。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于层次化上下文引导的多目标跟踪方法。

背景技术

随着深度学习的发展，卷积神经网络应用在越来越多的场景中，而多目标跟踪由于其在视频监控、人机交互和虚拟现实中的广泛应用，在计算机视觉领域受到越来越多的重识。多目标跟踪旨在定位给定视频序列中的多个目标对象，为不同的对象分配不同的身份ID并记录每个ID在视频中的轨迹。目前，随着基于卷积神经网络的目标检测技术不断发展，基于检测的跟踪算法已成为多目标跟踪的主流方向。基于检测的跟踪算法首先需要在每个视频帧上执行目标检测获取每帧的检测结果，然后根据检测结果进行数据关联以创建每个对象在视频中的轨迹。

一阶段多目标跟踪方法的核心思想是在一个深度学习网络中同时进行目标检测和跟踪，通过共享大部分计算量来减少推理时间。最近，一种同时兼容跟踪效率和精度的一阶段多目标跟踪方法被提出，它是一个anchor-free的方法，使用ResNet-34结构作为骨干网络，使其能够很好的兼容精度和速度，通在骨干网络上添加Deep Layer Aggregation(DLA)结构来实现不同尺度的检测，这种网络设计可以根据目标的尺度和姿势动态地适应感受野，同时有助于缓解对齐问题。

该方法的框架如图2所示，主要由用于提取特征的特征提取网络，检测部分和嵌入ID的重识别3个部分。其中，检测分支分别用热图去预测物体中心的位置、获取目标的中心偏移量和估计目标边界框的高度和宽度，重识别分支的目的是产生能够区分物体的特征。检测部分和重识别部分共享特征提取网络提取到的特征，并同时进行训练学习。这些一次性方法虽然节省了一些计算量，但在跟踪场景复杂的情况下性能仍然有限。

发明内容

本发明的实施例提供了一种基于层次化上下文引导的多目标跟踪方法，用于解决现有技术中存在的技术问题。

为了实现上述目的，本发明采取了如下技术方案。

基于层次化上下文引导的多目标跟踪方法，包括：

S1基于原始视频序列，令t表示原始视频序列的第t帧；

S2当t＝1时，通过上下文引导的多尺度聚合模块处理原始视频序列，获得目标对象在当前帧的检测值D^t、检测值对应的包围框特征和当前视频帧的特征并使用检测值D^t初始化目标对象O^t，使用检测值对应的包围框特征初始化对象的包围框特征使用目标对象的包围框特征初始化对象轨迹片段的代表性特征当t1时，通过上下文引导的多尺度聚合模块处理原始视频序列的第t帧和第t-1帧，挖掘获得当前帧的具有时空上下文信息的视频帧特征并根据上下文信息的引导获取第t帧图像中的检测值D^t，检测值对应的包围框特征和第t帧图像的特征

S3通过上下文引导的对象位置细化模块，通过目标对象在第t-1帧时的包围框特征初始化该目标对象在第t-1帧时轨迹片段的代表性特征获得更新后的该目标对象在第t帧时的轨迹片段的代表性特征

S4基于步骤S3获得的更新后的轨迹片段的代表性特征和步骤S2得到的具有时空上下文信息的视频帧特征通过上下文引导的对象位置细化模块进行处理，获得位置细化后目标对象R^t；