[发明专利]一种目标跟踪方法、装置和电子系统

说明书

本发明提供了一种目标跟踪方法、装置和电子系统，应用于电子设备，电子设备预存有训练完成的目标追踪模型，目标追踪模型包括骨干网络、编码器、解码器和自注意力网络，该方法包括：通过骨干网络和编码器对待处理的视频帧序列中的视频帧进行处理，得到与视频帧对应的第一特征集；组合初始查询向量集和历史帧的跟踪查询向量集，得到查询向量合集；将查询向量合集和当前帧的第一特征集输入解码器，得到当前帧对应的跟踪查询向量初始集；通过自注意力网络对当前帧对应的跟踪查询向量初始集中的查询向量进行跟踪ID分配和维持ID判别，将带有跟踪ID的查询向量组成为当前帧的跟踪查询向量集，本发明有效提升了目标跟踪对象的识别效率和准确度。

技术领域

本发明涉及图像识别技术领域，尤其是涉及一种目标跟踪方法、装置和电子系统。

背景技术

多目标追踪(Multi-Object Tracking，MOT)是一类视觉目标检测技术，其任务是指网络模型对连续视频画面中多个目标进行检测以及跟踪，进行多目标追踪的网络模型通常基于tracking-by-detection(基于检测的跟踪模型)类方法实现。tracking-by-detection类方法的主要思想是先使用检测器如Faster R-CNN、CenterNet等检测出连续视频的所有目标，然后使用数据关联方法如匈牙利匹配、卡尔曼滤波、行人重识别等对属于同一个轨迹的目标进行连接形成轨迹。

基于tracking-by-detection类方法实现多目标追踪技术比较典型的有：(1)DeepSort、Tracktor等方法，这些方法分别使用Faster R-CNN检测器和行人重识别模型进行目标检测以及跟踪；(2)JDE、FairMOT等方法，这些方法将检测器和行人重识别模型集成到同一个模型中进行联合训练优化，达到了比较好的追踪性能；(3)TrackFormer使用注意力(Attention)机制进行多目标追踪。

上述基于tracking-by-detection类方法实现的多目标追踪技术，这种技术本质均需要先通过检测器进行目标检测，再对目标检测得到检测框的特征进行目标重识别，因此目标重识别的特征提取和优化比较依赖检测器的性能，导致目标追踪效率低且准确度不高。

发明内容

有鉴于此，本发明的目的在于提供一种目标跟踪方法、装置和电子系统，以缓解目标追踪效率低且准确度不高的技术问题。

第一方面，本发明实施例提供了一种目标跟踪方法，应用于电子设备，电子设备预存有训练完成的目标追踪模型，目标追踪模型包括骨干网络、编码器、解码器和自注意力网络，该方法包括：通过骨干网络和编码器对待处理的视频帧序列中的视频帧进行处理，得到与视频帧对应的第一特征集；组合初始查询向量集和历史帧的跟踪查询向量集，得到查询向量合集；将查询向量合集和当前帧的第一特征集输入解码器，得到当前帧对应的跟踪查询向量初始集；通过自注意力网络对当前帧对应的跟踪查询向量初始集中的查询向量进行跟踪ID分配和维持ID判别，将带有跟踪ID的查询向量组成为当前帧的跟踪查询向量集。

其中，通过自注意力网络对当前帧对应的跟踪查询向量初始集中的查询向量进行跟踪ID分配和维持ID判别的步骤，包括：对于当前帧对应的跟踪查询向量初始集中的第一类查询向量，基于预设的加入门限和第一类查询向量的分类得分进行跟踪ID分配；其中，第一类查询向量为初始查询向量集对应的查询向量；对于当前帧对应的跟踪查询向量初始集中的第二类查询向量，基于预设的退出门限和第二类查询向量的分类得分进行维持ID判别；其中，第二类查询向量为历史帧的跟踪查询向量集对应的查询向量。

其中，基于预设的加入门限和第一类查询向量的分类得分进行跟踪ID分配的步骤，包括：标记第一类查询向量中的分类得分大于预设的加入门限的查询向量；判断被标记的查询向量在当前帧之前的历史帧中被标记的次数是否大于第一次数阈值，如果是，为被标记的查询向量分配跟踪ID。