[发明专利]地面多目标跟踪方法

权利要求书

1.一种地面多目标跟踪方法，其特征在于，包括如下步骤：

基于PTZ相机，采集PTZ相机场景下需要跟踪的目标图像，并对场景下的目标进行标定，确定目标；输入标定后目标的PTZ视角相机图像，根据PTZ相机传入的图像中目标检测结果和标定后目标的位置信息与图像信息，训练候选检测优化模型，候选目标优化模型将纠正错误的边界框并消除冗余的边界框，利用标定后目标的位置信息与图像信息训练深度网络模型、联合孪生网络模型和检测优化模型合并位置预测模块与外观特征提取模块，基于候选优化模块提供的目标，联合孪生网络对将提取每一个需要跟踪的目标的图像特征并预测在下一帧中目标的位置过计算位置交并比与外观相似度进行数据关联，确定目标的ID；检测优化模型选用ResNet-50作为骨干网络，选择随机梯度下降法进行优化，基于已训练的残差网络ResNet-50提取PTZ图像传入的图像的全局特征，获取基于残差网络ResNet-50全局图像特征，将图像的全局特征映射到ROI-pooling层，并根据检测目标的位置信息获得各个目标的外观信息，利用Softmax分类函数-LossandSmooth与回归损失函数L1-Loss得到各目标的分类分数以及回归目标边界；设置分类分数阈值和交并比阈值，对检测目标进行过滤，得到检测优化检测目标；联合孪生网络模型选取经过ImageNet预训练的AlexNet网络，获取各目标在T帧图像特征，以T帧中各目标为中心的T+1帧模板图像特征，根据已训练的联合孪生网络提取目标图像与模板图像的特征，通过卷积搜索图像特征与模板图像特征，卷积预测目标在T+1帧中的位置，根据T帧目标预测的位置以及T+1帧检测优化模型的输出结果，计算T+1帧预测目标位置与检测目标位置的交并比与所有目标的余弦距离，利用焦点损失函数FocalLoss训练非平衡数据集多分类模型，结合目标检测中的回归损失函数IOULoss获得目标分类模板与回归模板，根据两模板信息得到预测目标的位置与目标边界框；选择匈牙利算法将交并比大于阈值的跟踪目标与检测目标进行一次关联，匹配预测目标与检测目标；根据预测后的T+1帧跟踪目标和优化后的T+1帧检测目标的位置信息以及外观信息进行多层数据关联，完成多目标跟踪，输出图像T+1帧跟踪目标。

2.根据权利要求1所述的一种地面多目标跟踪方法，其特征在于，检测优化偶模型选用ResNet-50作为骨干网络，选择随机梯度下降法进行优化，以此训练测优化模型将已训练的ResNet-50网络，提取PTZ图像传入的图像的全局特征。

3.根据权利要求2所述的一种地面多目标跟踪方法，其特征在于，检测优化偶模型将图像的全局特征映射到ROI-pooling层，并根据检测目标的位置信息获得各个目标的外观信息，利用Softmax-LossandSmooth与L1-Loss得到各目标的分类分数以及回归目标边界，设置分类分数阈值τsd＝0.5，对检测目标进行过滤；设置交并比阈值τiou＝0.3，根据非极大值抑制算法对检测目标进行二次过滤，得到最终检测目标。

4.根据权利要求1所述的一种地面多目标跟踪方法，其特征在于，检测优化偶模型将标定后的目标边界框图像缩放至127x127作为模板图像，以目标坐标为中心在下一帧中获取303x303搜索图像，并选取经过ImageNet预训练的AlexNet网络作为骨干网络，在训练时固定AlexNet中第一层与第三层的网络参数，选择动量为0.9，学习率为10^-3的随机梯度下降法进行优化，以此来训练联合孪生网络模型。

5.根据权利要求1所述的一种地面多目标跟踪方法，其特征在于，深度网络模型根据PTZ相机传入的第T帧图像，截取以目标为中心的127x127的模板图像，在T+1帧截取以T帧目标为中心的303x303的搜索图像，根据已训练的联合孪生网络提取目标图像与模板图像的特征并保存。