[发明专利]基于多元差异性融合的行人多目标跟踪方法

说明书

本发明提出了一种基于多元差异性融合的行人多目标跟踪方法，包括下述步骤：(1)获取训练样本集和测试样本集；(2)构建基于多元差异性融合的检测和重识别集成式网络模型；(3)对基于多元差异性融合的检测和重识别集成式网络模型进行迭代训练；(4)获取行人多目标跟踪结果。本发明在构建基于多元差异性融合的检测和重识别集成式网络模型时，加入了训练数据、训练方式和网络结构的差异性，使得两个关键点热图预测子网络对不同大小的目标形成预测偏好，将两个子网络的预测结果相加融合，得到多元差异性融合的关键点热图，该方法解决了现有技术中只用单一关键点热图预测子网络预测所导致的检测召回率低的问题，提高了算法的跟踪准确度。

技术领域

本发明属于计算机视觉技术领域，涉及一种基于多元差异性融合的行人多目标跟踪方法，可用于监控安防、视频内容理解、人机交互等领域下的行人多目标跟踪任务。

背景技术

行人多目标跟踪算法在安防监控、视频内容理解、人机交互、以及智能护理等众多领域有着广泛的应用。近些年，随着深度学习的兴起和推广，行人多目标跟踪算法逐步形成了由目标检测、重识别特征提取、数据关联三个基本模块组合的算法范式。其中，目标检测模块用于检测定位场景中的所有行人目标，重识别特征提取模块用于对行人外观信息的提取和编码，而数据关联模块则是根据检测和重识别特征提取模块提供的信息来估计历史轨迹和当前帧中被检测到的行人之间的相似度，并据此进行优化关联匹配，从而形成轨迹。

Yifu Zhang等人于2020年在《IEEE Conference on Computer Vision andPattern Recognition》发表的论文“FairMOT:On the Fairness of Detection and Re-Identification in Multiple Object Tracking”，公开了一种将检测和重识别任务集成到一个网络中的多目标跟踪算法，该方法通过在CenterNet检测网络上增加一个重识别特征提取分支子网络的方式，使得检测和重识别任务共享大量卷积层参数和特征，从而减少了网络参数量、计算量，提高了系统的执行效率，在速度和精度的均衡上取得了不错的成绩。

但是，FairMOT算法中仅对检测可重识别体重提取任务进行了简单集成，四个预测任务分支子网络仅共享一个融合特征图，这导致了任务间对特征激烈的竞争，从而抑制了各任务的进一步学习；此外FairMOT算法在目标尺度差异较大的场景下忽略了尺度差异较大的目标之间的特征差异性，仅采用一个目标中心点热图预测子网络来检测召回所有尺度的目标，尽管卷积神经网络有学习和适应尺度、纹理等变化的能力，但对于差异性较大的目标之间的学习，网络往往会在它们之间寻求一个平衡，这抑制了模型对行人目标的检测召回效果，从而降低了多目标跟踪的准确度。

发明内容

本发明的目的在于克服上述已有技术的不足，提出了一种基于多元差异性融合的行人多目标跟踪方法，用于现有技术中存在的在目标尺度差异较大的场景下的检测召回率较低的技术问题。

为实现上述目的，本发明采取的技术方案包括如下步骤：

(1)获取训练样本集D_train和测试样本集D_test：

(1a)对选取的V个带有行人检测框标签和身份标签的RGB图像序列进行预处理，得到预处理后的RGB图像帧序列集合并将S_v中I个预处理后的RGB图像帧序列所包含的RGB图像帧作为训练样本集D_train，将其余K个预处理后的RGB图像帧序列作为测试样本集D_test，其中表示第m个包含L_m帧预处理过的RGB图像帧序列，f⁽ⁿ⁾表示预处理过的第n个RGB图像帧，I＞K,I+K＝V,V＞20，L_m＞200；

(2)构建基于多元差异性融合的检测和重识别集成式网络模型O：

(2a)构建基于多元差异性融合的检测和重识别集成式网络模型O的结构：