[发明专利]单镜头下的多行人在线跟踪方法、装置、设备及存储介质

说明书

本申请实施例公开了一种单镜头下的多行人在线跟踪方法、装置、设备及存储介质。在单路视频流的每帧画面得到行人检测框、卡尔曼跟踪框和单目标跟踪框作为目标框；计算目标框对应的行人身份重定位特征向量；根据目标框的位置和行人身份重定位特征向量计算所述目标框与目标跟踪器的位置损失代价和行人重定位损失代价；根据位置损失代价和行人重定位损失代价计算综合损失代价；根据综合损失代价计算轨迹跟踪器与行人检测框、卡尔曼跟踪框和单目标跟踪框的匹配关系；根据匹配关系、位置损失代价和身份重定位损失代价，基于行人检测框、卡尔曼跟踪框和单目标跟踪框生成轨迹跟踪框。在同一镜头下，对行人行走时的短时完全遮挡，能够形成有效的跟踪。

技术领域

本发明涉及视频图像跟踪领域，尤其涉及一种单镜头下的多行人在线跟踪方法、装置、设备及存储介质。

背景技术

近些年，随着图像技术的不断发展，行人跟踪功能被逐渐应用于监控安防、智慧零售、智慧城市等领域。对于诸如道路卡口、商场、门店等区域，往往通过设置监控摄像头来对来往人群进行监视。可以利用行人跟踪技术对监控图像的所有来往行人进行持续检测，对同一行人持续跟踪。目前，通过行人检测技术逐帧抽取监控图像或抽取部分帧监控图像，并在抽取的监控图像中标识行人框。利用从各行人框提取的特征向量，对所有监控图像中的行人框进行匹配，以获得行人跟踪结果。

发明人在实现行人跟踪过程中发现，在进行行人跟踪时，由于检测模型性能不稳定、行人的非刚性属性以及外观相似容易导致跟踪目标的身份切换。

发明内容

本申请实施例提供一种单镜头下的多行人在线跟踪方法、装置、设备及存储介质，以消除各种异常场景下可能导致的跟踪目标身份切换问题。

第一方面，本申请实施例提供了一种单镜头下的多行人在线跟踪方法，包括：

在单路视频流的每帧画面进行行人检测、卡尔曼跟踪和单目标跟踪，分别得到行人检测框、卡尔曼跟踪框和单目标跟踪框作为目标框；

计算每帧画面中的目标框对应的行人身份重定位特征向量；

根据所述目标框的位置和所述行人身份重定位特征向量计算所述目标框与轨迹跟踪器的位置损失代价和行人重定位损失代价；

根据所述位置损失代价和行人重定位损失代价计算对应的综合损失代价；

根据所述综合损失代价计算所述轨迹跟踪器与行人检测框、卡尔曼跟踪框和单目标跟踪框的匹配关系；

根据匹配关系、位置损失代价和身份重定位损失代价，基于所述行人检测框、卡尔曼跟踪框和单目标跟踪框生成当前帧的轨迹跟踪框。

其中，所述位置损失代价L_location通过以下公式计算：

L_location＝1-f_location(A₁,A₂)

f_location(A₁,A₂)＝f_d(A₁,A₂)+f_iou(A₁,A₂)

其中，A₁表示目标框，A₂表示所述轨迹跟踪器中记录的目标跟踪框，表示A₁和A₂的中心点欧氏距离，β表示的权重，T表示根据视频帧率确认的判断阈值；

所述行人重定位损失代价L_appearance通过以下公式计算：