[发明专利]一种基于深度学习和多目标跟踪的行人流量统计方法

权利要求书

1.一种基于深度学习和多目标跟踪的行人流量统计方法，其特征在于：包括以下步骤：

S1：实时拍摄行人监控视频，读取行人监控视频连续视频帧中的图像；

S2：设置连续视频帧中图像的有效区域，并设置初始值为0的流量计数；

S3：构建基于深度学习的行人检测模型并对其进行训练；

S4：利用训练好的行人检测模型对设置了有效区域的图像进行缩放，然后对图像进行当前行人检测，得到当前行人框的坐标及图像块，当前行人框用于指示在图像中存在当前行人的区域；

S5：利用基于深度学习的多目标跟踪算法对当前行人进行实时跟踪，并产生当前行人在连续视频帧图像中的坐标；

S6：根据当前行人在连续视频帧中图像的坐标生成当前行人的移动轨迹；

S7：根据当前行人的移动轨迹，利用多目标跟踪算法实时判断当前行人是否离开有效区域；若是则进入步骤S8，若否则进入步骤S4；

S8：选取噪声阈值并对当前行人的移动轨迹进行噪声判断；若当前行人的移动轨迹的坐标数小于噪声阈值，则判定当前行人的移动轨迹为噪声轨迹；若当前行人的移动轨迹的坐标数大于或等于噪声阈值，则判定当前行人的移动轨迹为有效轨迹，并对流量计数的数值加1；

S9：删除当前行人在连续视频帧中的坐标，然后重复步骤S4；

在所述步骤S8中，噪声阈值的选取步骤如下：

S801：基于当前行人的移动轨迹，在行人监控视频截取n段样本视频，记为VIDEO₁,…,VIDEO_i，i＝1,2,…,n；

S802：对n段样本视频VIDEO₁,…,VIDEO_i人工进行人流量统计，人流量统计结果记为NUM₁,…,NUM_i；

S803：设定噪声阈值的取值集合为{j；j＝2,3,…,20}，基于步骤S1至步骤S9，对n段样本视频VIDEO₁,…,VIDEO_i进行流量统计，得到的流量计数结果记为RESULT_ij；

S804：计算步骤S803所得的流量计数结果及步骤S802所得的流量统计结果的差值，差值记为E_ij＝RESULT_ij-NUM_i；

S805：计算不同阈值对应差值E_ij的加权平均值F_j，其中

S806：比较噪声阈值取不同值j时F_j的绝对值大小，若F_k的取值的绝对值最小，其中k∈{j；j＝2,3,…,20}，则k为最终选取的噪声阈值。

2.根据权利要求1所述的一种基于深度学习和多目标跟踪的行人流量统计方法，其特征在于：在所述步骤S3中，所述行人检测模型是使用YOLOv3网络结构训练所得。

3.根据权利要求1所述的一种基于深度学习和多目标跟踪的行人流量统计方法，其特征在于：所述步骤S5的具体步骤如下：

S501：读取当前行人框的坐标及图像块；

S502：构建基于深度学习的行人特征提取模型并对其进行训练，利用训练好的深度网络行人特征提取模型对当前行人框的图像块进行深度表观特征提取，生成连续视频帧中不同的当前行人框的深度表观特征；

S503：根据当前行人框的坐标，利用卡尔曼滤波器计算出当前行人的预测坐标和当前行人的更新坐标，并计算出当前行人的预测坐标与当前行人框的坐标在马氏空间中的距离d₁；

S504：计算出由步骤S502得到的连续视频帧中不同的当前行人框的深度表观特征之间的余弦距离d₂；

S505：将由步骤S503得到的距离d₁与由步骤S504得到的距离d₂结合形成融合度量c，其中c＝λd₁+(1-λ)d₂，λ取0.1；

S506：根据融合度量c，利用匈牙利匹配算法对连续视频帧中不同的当前行人框进行目标匹配，得到当前行人在连续视频帧中的坐标。