[发明专利]基于跨任务互学习的多目标跟踪方法、终端设备及介质

说明书

本发明公开了一种基于跨任务互学习的多目标跟踪方法，包括：S1、读取视频序列的当前帧RGB图像；S2、利用骨干网络提取当前帧RGB图像的通用特征；S3、对当前帧RGB图像的通用特征进行特征解耦，得到检测对齐嵌入和重识别对齐嵌入；S4、根据检测对齐嵌入得到检测基本输出；S5、利用交叉方向Transformer根据重识别对齐嵌入得到重识别输出；S6、对检测基本输出和重识别输出进行跨任务交互学习，得到交互后的检测基本输出和重识别输出；S7、根据交互后的检测基本输出得到当前帧上的目标位置框，并根据中心点位置在交互后的重识别输出上查询出重识别嵌入；S8、根据重识别嵌入将当前帧与前帧进行帧间关联。本发明可以在复杂场景下实现高效的多目标跟踪。

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于跨任务互学习的多目标跟踪方法。

背景技术

随着计算机视觉在理论上的广泛研究和实际场景下的业务需求，目标跟踪尤其是多目标跟踪也逐渐成为其中的一个重要领域。由于现实场景的复杂性以及行人运动的多变性，行人多目标跟踪还有很多问题迫待解决。目前，多目标跟踪主要分为先检测目标再提取目标特征的二阶段方法和检测与重识别特征同时提取的单阶段方法。在多任务联合学习还未曾流行的很长一段时间内，大多数多目标跟踪的研究都是二阶段的，但是二阶段方法的两个阶段都需要使用深度神经网络来保证准确性，这带来了极大的计算量，很难达到实时跟踪的需求。相比较而言，单阶段方法通过一个卷积神经网络共享特征的方式完成多个任务，这一方面保证了多任务学习的有效特征共享，另一方面大幅减少了计算量以达到实时跟踪的要求。因此，本发明以单阶段方法为研究对象，针对由不同的特征需求导致的特征不对齐以及各任务分支无交互的问题，提出了特征解耦模块、交叉方向Transformer以及跨任务互学习策略来有效改善网络的建模能力用于行人多目标跟踪。

目前，单阶段跟踪主要采用无锚框的基于关键点的卷积神经网络，其有着较高的推理效率以及较低的工程代价。在这类网络架构中，多个任务分支共享骨干网络并联合优化。但是，这种联合网络仍然面临着诸多问题：(1)检测和重识别需求的特征实际上是不对齐的，前者需要的是边界感知的信息而后者需要的是身份感知的信息，如何保证两个任务获得各自的需求信息是非常重要的；(2)对于重识别任务而言，目标周围的其他目标和环境的信息对于增强目标本身的判别性是至关重要的，如何利用这些信息对于重识别任务非常关键；(3)检测和重识别在任务层面可以相辅相成，如何实现这种互补是构建更高效的多分支模型的主要问题。

发明内容

本发明要解决的技术问题是提供一种可以在行人密集等复杂场景下，更好地获得每个目标的检测结果及判别性特征，以进行高效的多目标跟踪的方法。

为了解决上述问题，本发明提供了一种基于跨任务互学习的多目标跟踪方法，所述基于跨任务互学习的多目标跟踪方法包括以下步骤：

S1、读取视频序列的当前帧RGB图像；

S2、利用骨干网络提取当前帧RGB图像的通用特征；

S3、对当前帧RGB图像的通用特征进行特征解耦，得到检测对齐嵌入和重识别对齐嵌入；

S4、根据检测对齐嵌入得到检测基本输出；

S5、利用交叉方向Transformer根据重识别对齐嵌入得到重识别输出；

S6、对检测基本输出和重识别输出进行跨任务交互学习，得到交互后的检测基本输出和重识别输出；

S7、根据交互后的检测基本输出得到当前帧上的目标位置框，并根据中心点位置在交互后的重识别输出上查询出重识别嵌入；

S8、根据重识别嵌入将当前帧与前帧进行帧间关联。

作为本发明的进一步改进，步骤S3包括：