[发明专利]一种基于视频监控的行人多目标跟踪方法

权利要求书

1.一种基于视频监控的行人多目标跟踪方法，其特征在于，所述方法包括：

获取监控视频数据，并进行预处理得到检测训练样本和重识别训练样本；

构建行人多目标跟踪网络；所述行人多目标跟踪网络包括：Faster RCNN网络和改进的DEEPSORT网络；所述Faster RCNN网络用于行人目标检测得到行人目标；所述改进的DEEPSORT网络用于提取所述行人目标中的行人表观特征和行人运动特征，并采用巴氏距离进行相似度计算和匹配，得到行人目标ID分配结果；所述改进的DEEPSORT网络是对DEEPSORT网络中用于行人运动预测与更新的模块进行了改进后的网络，改进点包括：对行人目标重新进行非线性运动建模，并构建无迹卡尔曼滤波模块，用所述无迹卡尔曼滤波模块替换DEEPSORT网络中的卡尔曼滤波模块；所述改进的DEEPSORT网络还包括用于提取行人表观特征的行人重识别网络；

利用所述检测训练样本对所述Faster RCNN网络进行训练，得到训练好的目标检测网络；

利用所述重识别训练样本对所述行人重识别网络进行训练，得到训练好的行人重识别网络；

获取待测监控视频数据，并进行预处理得到待测样本；

将所述待测样本输入到训练好的所述行人多目标跟踪网络中进行行人目标跟踪，得到各行人运动轨迹；

其中：构建行人多目标跟踪网络，步骤中：对行人目标重新进行非线性运动建模，并构建无迹卡尔曼滤波模块，用所述无迹卡尔曼滤波模块替换DEEPSORT网络中的卡尔曼滤波模块，包括：

将初始的行人匀速运动改为小弧度转弯CA运动模型，用一个9维空间表示轨迹某时刻的状态，运动模型表达式如下式所示：

其中：、表示目标的检测框的中心点坐标，表示检测框的宽高比，表示检测框的高度，、表示检测框的中心点坐标变化率，表示检测框的宽高比变化率，表示检测框的高度变化率，为目标前后帧运动形成的角度差；

利用UT变换与比例修正对称采样策略选取Sigma点，并根据得到的Sigma点进行类似卡尔曼滤波的预测与更新两阶段，得到无迹卡尔曼滤波模块。

2.根据权利要求1所述的方法，其特征在于，所述Faster RCNN网络包括用于特征提取的骨干网络、用于目标候选框提取的RPN网络以及用于进一步分类和检测框回归的头网络；所述骨干网络是卷积神经网络VGG；

利用所述检测训练样本对所述Faster RCNN网络进行训练，得到训练好的目标检测网络，包括：

将所述检测训练样本输入到所述骨干网络中，得到特征图；

将所述特征图输入到所述RPN网络中，得到目标候选检测框；

将所述特征图和所述目标候选检测框输入到所述头网络中，得到目标分类结果和检测回归框；

根据所述目标分类结果、所述检测回归框以及对应所述检测训练样本的真实标注信息，采用预设的损失函数和Adam优化器，采用反向传播算法对所述Faster RCNN网络的参数进行更新，得到训练好的目标检测网络。

3.根据权利要求1所述的方法，其特征在于，利用所述重识别训练样本对所述行人重识别网络进行训练，得到训练好的行人重识别网络，包括：

将所述重识别训练样本输入到所述行人重识别网络中，得到行人表观特征；所述行人重识别网络是小型残差卷积神经网络；

根据所述行人表观特征和所述重识别训练样本，采用交叉熵损失函数和Adam优化器，采用反向传播算法对所述小型残差卷积神经网络的参数进行更新，得到训练好的行人重识别网络。

4.根据权利要求1所述的方法，其特征在于，所述改进的DEEPSORT网络还包括：相似度计算模块和数据关联优化模块；

将所述待测样本输入到训练好的所述行人多目标跟踪网络中进行行人目标跟踪，得到各行人运动轨迹，包括：

将所述待测样本输入到训练好的所述Faster RCNN网络中，得到待测特征图；

将所述待测特征图输入到训练好的所述行人重识别网络中，得到待测行人表观特征；

将所述待测特征图输入到所述无迹卡尔曼滤波模块中，得到待测行人运动特征；

根据所述待测行人表观特征和所述待测行人运动特征，在相似度计算模块中采用巴氏距离计算检测框向量化后的近似度，并根据计算得到的两个相似性度量构建关联代价矩阵；

根据所述关联代价矩阵，在所述数据关联优化模块中采用匈牙利算法，得到每一帧各行人目标的检测框中心位置与对应的行人ID；

以最终的检测框中心位置代替行人，绘制同一行人ID信息在时间系列上的轨迹。