[发明专利]一种智慧楼宇在线跨摄像头多目标追踪方法

权利要求书

1.一种智慧楼宇在线跨摄像头多目标追踪方法，其特征在于，包括以下步骤：

(1)对楼宇内监控视频进行数据采集，得到包含多个行人通过多个摄像头的视频片段以及实时视频流；所述摄像头包括一个基准摄像头和多个对比摄像头；

(2)对视频片段进行标注，制作数据集，利用无监督的方法训练行人重识别网络；

(3)对实时视频流进行抽帧，对每一帧图片使用行人检测算法，得到包含行人全身的最小矩形检测框，得到包括位置信息和外观信息的行人检测信息；

(4)对于基准摄像头获取的视频流，利用行人检测信息，使用多目标追踪方法，得到行人轨迹，将轨迹中的行人图像送入行人重识别网络，得到其重识别特征，并筛选得到k个特征加入对比库中；

(5)对于对比摄像头获取的视频流，利用得到的行人检测信息初始化轨迹，将轨迹的初始行人外观信息送入行人重识别网络，得到其重识别特征，与对比库中的特征计算余弦距离，若与距离排名第一的样本S的余弦距离小于先验阈值L_c，则初始化一个新的轨迹，且其行人编号与S相同；使用多目标追踪方法，得到完整的行人轨迹；

所述步骤(2)包括以下步骤：

(21)获取数据集中的正样本和负样本，认为同一个轨迹内的检测样本互为正样本，认为同一帧的多个检测样本互为负样本；

(22)获取跨摄像头的正负样本，采用k互编码算法，其公式为：

其中，N(p,k)指与样本p余弦相似度最高的k个样本，认为满足下式的样本所在轨迹内的检测样本为p的正样本，其余轨迹内的检测样本为负样本，轨迹内样本使用特征筛选方法，得到最终的正样本及其外观信息和负样本及其外观信息：

其中，f_c为行人重识别特征，Distance为余弦距离，L_c为所述先验阈值；

(23)使用行人重识别公开数据集训练后的模型为预训练模型，利用正负训练样本对所述行人重识别网络进行训练；

(24)行人重识别网络的骨干网络为ResNet-50，采用交叉熵函数计算分类损失，采用三元组损失计算度量损失，采用Adam优化器，采用反向传播算法更新骨干网络的参数，获取在楼宇场景下训练后的行人重识别网络。

2.根据权利要求1所述的智慧楼宇在线跨摄像头多目标追踪方法，其特征在于，步骤(2)所述数据集按4:1随机拆分成训练集和测试集。

3.根据权利要求1所述的智慧楼宇在线跨摄像头多目标追踪方法，其特征在于，步骤(4)所述筛选得到k个特征过程如下：

剔除掉行人检测框置信度低于L_d的行人图像；采用k-means对所述重识别特征进行聚类，将其聚为k-1类，选取每类的中心点特征以及全局中心点特征，共k个重识别特征为筛选后特征。

4.根据权利要求1所述的智慧楼宇在线跨摄像头多目标追踪方法，其特征在于，步骤(5)所述多目标追踪方法包括以下步骤：

S1：根据待匹配行人信息初始化轨迹，轨迹信息包括位置和外观信息；由位置信息得到其运动状态为：

其中，cx，cy为检测框的中心点坐标，r为检测框宽高比，h为检测框高，vx，vy，vr，vh分别为上述变量的变化率；

S2：将待匹配行人运动信息送入卡尔曼滤波器得到轨迹的预测位置信息，利用由k-1的运动状态和协方差预测k时刻的运动状态和协方差；

S3：将待匹配行人外观信息送入行人重识别网络得到其外观特征；

S4：将待匹配行人信息的位置信息和外观特征，分别与轨迹的预测位置信息计算交并比距离，与轨迹的外观特征计算余弦距离；

S5：将交并比距离和余弦距离，根据匹配情况进行融合，距离矩阵的融合计算方法为：

d_m＝e^-λ*t*d_iou+(1-e^-λ*t)d_feature

其中，d_m为融合后的距离，d_iou为所述交并比距离，d_feature为所述余弦距离，t为轨迹连续未匹配成功的次数，λ为正系数；

S6：根据关联距离矩阵，利用匈牙利算法，得到待匹配样本和轨迹样本的匹配结果，为匹配成功的样本赋予与其对应轨迹样本相同的编号。