[发明专利]基于层次化上下文引导的多目标跟踪方法

权利要求书

1.基于层次化上下文引导的多目标跟踪方法，其特征在于，包括：

S1基于原始视频序列，令t表示原始视频序列的第t帧；

S2当t＝1时，通过上下文引导的多尺度聚合模块处理原始视频序列，获得目标对象在当前帧的检测值D^t、检测值对应的包围框特征和当前视频帧的特征并使用检测值D^t初始化目标对象O^t，使用检测值对应的包围框特征初始化对象的包围框特征使用目标对象的包围框特征初始化对象轨迹片段的代表性特征当t1时，通过上下文引导的多尺度聚合模块处理原始视频序列的第t帧和第t-1帧，挖掘获得当前帧的具有时空上下文信息的视频帧特征并根据上下文信息的引导获取第t帧图像中的检测值D^t，检测值对应的包围框特征和第t帧图像的特征

S3通过上下文引导的对象位置细化模块，通过目标对象在第t-1帧时的包围框特征初始化该目标对象在第t-1帧时轨迹片段的代表性特征获得更新后的该目标对象在第t帧时的轨迹片段的代表性特征

S4基于步骤S3获得的更新后的轨迹片段的代表性特征和步骤S2得到的具有时空上下文信息的视频帧特征通过上下文引导的对象位置细化模块进行处理，获得位置细化后目标对象R^t；

S5基于步骤S2得到的第t帧图像中的检测值D^t、检测值对应的包围框特征步骤S3获得的更新后的目标对象在第t帧时的轨迹片段的代表性特征和步骤S4得到的位置细化后的目标对象R^t，构建二部图；

S6基于二部图通过匈牙利算法进行匹配；

S7基于步骤S6的匹配结果获得目标的跟踪轨迹结果，包括：将检测值D^t的位置坐标作为与该检测值D^t匹配的目标对象在当前帧的位置，与该目标对象对应的包围框特征作为该目标对象在当前帧的特征；

S8判断原始视频序列的处理是否结束，若是，则输出所有的目标的跟踪轨迹结果，否则，执行针对原始视频序列下一帧的处理操作。

2.根据权利要求1所述的方法，其特征在于，步骤S2中，所述上下文引导的多尺度聚合模块包括全局时序上下文挖掘子模块和基于补丁的空间上下文挖掘子模块；

所述全局时序上下文学习子模块用于处理不同帧之间的时间上下文关系，通过将上一帧的底层特征与当前帧的底层特征进行串联生成连接特征，然后对连接特征进行视频帧全局的时间上下文学习，计算当前帧特征的每个像素与前一帧所有像素之间的关系，并将计算结果输送到所述的局部空间上下文学习子模块；

所述的局部空间上下文学习子模块用于：基于所述全局时序上下文学习子模块的计算结果，利用ResNet34进行渐进式编码获得多尺度特征金字塔，对多尺度特征金字塔每一层的特征进行交叉分割，生成多个局部特征，然后对每个局部特征独立地进行空间上下文学习以获得特定范围的空间上下文关系，拼接同一层特征中地所有具有空间上下文信息地局部特征以得到特征金字塔中每一层完整的具有空间上下文的特征图，最后使用深层聚合方法对多尺度特征金字塔每一层的特征图进行聚合操作，获得多尺度聚合的当前视频的特征基于多尺度聚合特征定位感兴趣的区域，获得检测值D^t和检测值的包围框特征

3.根据权利要求2所述的方法，其特征在于，所述局部空间上下文学习子模块通过式

计算获得多尺度聚合的当前视频的特征式中，Y为模块学到的具有上下文信息的特征，X为输入特征，在计算时间上下文关系时，X为当前帧和前一帧底层特征串联后的结果，在计算空间上下文时，X为多尺度金字塔中每一层进行交叉分割后的局部特征，W₁,W₂,W₃,W₄表示4个卷积层，Softmax表示激活函数，Maxpool为最大池化操作，是一个系数，具体是通过自注意力机制计算获得的特征关系；

所述局部空间上下文学习子模块将计算获得的多尺度聚合的当前视频的特征输送到检测分支和包围框特征提取分支中，得到当前帧的检测值D^t、检测值对应的包围框特征