[发明专利]一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法

权利要求书

1.一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法，其特征在于，包括以下步骤：

S1、制作基于鱼眼相机俯视拍摄的行人头部检测数据集，并用该数据集训练用于行人头部检测的深度卷积神经网络，使用训练好的行人头部检测深度神经网络对视频中的行人头部进行检测，然后分别为每个首次检测到的行人头部创建一个卡尔曼滤波跟踪器；具体包括以下步骤：

S1.1、首先采集不同场景下的鱼眼相机俯视拍摄的视频，然后从视频中截取样本图像，并用方框手动标注出每张图像中出现的行人的头部，同时将标注框的左上角和右下角坐标写入到标注文件中，完成数据集的制作，此处标注框的左上角和右下角坐标用于S1.3的神经网络微调训练过程中计算损失，从而根据损失值优化网络参数，实现对行人头部边框的回归；

S1.2、基于单次检测器构建一个用于行人头部检测的深度神经网络即头部检测器，其特征提取部分使用VGG-16，该头部检测器的网络结构和损失函数与单次检测器的框架相同，然后使用PascalVOC数据集对头部检测器进行预训练；

S1.3、使用S1.1中制作的鱼眼相机俯视场景下行人头部检测数据集来对预训练后的头部检测器进行微调训练；在微调训练过程中，头部检测器的网络结构和损失函数与预训练过程相同，首先加载预训练得到的网络参数，然后采用批量梯度下降的方式进行训练，获得训练好的头部检测器；

S1.4、对于任意一帧读入的鱼眼相机采集到的视频图像，用训练好的头部检测器其进行行人头部检测，从而获得各个行人头部的边框，并为每个首次检测到的行人头部创建一个卡尔曼滤波跟踪器；

S2、根据训练好的行人头部检测深度神经网络检测到的行人头部边框的中心点和卡尔曼滤波跟踪器预测的跟踪点计算距离矩阵；

S3、根据距离矩阵，使用匈牙利算法将检测到的行人头部边框和各个卡尔曼滤波跟踪器进行匹配；

S4、如果检测到的行人头部边框匹配到了卡尔曼滤波跟踪器，则根据该边框中心点对该卡尔曼滤波跟踪器预测的跟踪点进行修正，如果没有匹配到卡尔曼滤波跟踪器，则直接为其创建一个新的卡尔曼滤波跟踪器；

S5、逐帧读取视频图像，不断重复S2至S4的过程，从而实现鱼眼相机俯视拍摄场景下行人的实时检测与跟踪。

2.根据权利要求1所述的一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法，其特征在于，所述步骤S2具体包括：

S2.1、计算每个检测到的行人头部边框的中心点坐标，该中心点为检测点；

S2.2、根据已创建的卡尔曼滤波跟踪器，通过卡尔曼滤波跟踪算法的预测过程来预测当前帧的跟踪点坐标，该跟踪点为预测点；

S2.3、分别计算当前帧各个检测点和各个预测点的距离，并根据这些距离构造检测点和预测点的距离矩阵D,矩阵D的每一列表示一个检测点和每个预测点的距离，矩阵D的每一行表示一个预测点和每个检测点的距离。

3.根据权利要求1所述的一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法，其特征在于，所述步骤S4具体包括：

S4.1、如果检测点与某个卡尔曼滤波跟踪器匹配成功，则根据该检测点，通过卡尔曼滤波算法的修正过程对该卡尔曼滤波跟踪器预测的当前帧跟踪点进行修正；

S4.2、完成修正过程之后，对误差协方差矩阵进行更新；

S4.3、如果检测到的行人头部边框没有匹配到卡尔曼滤波跟踪器，则认为该边框对应的行人头部是首次检测到的对象，并为该行人头部创建一个新的卡尔曼滤波跟踪器。

4.根据权利要求2所述的一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法，其特征在于，卡尔曼滤波跟踪算法的预测过程如下：

P′_k＝AP_k-1A^T+Q    (2)

其中，k为当前帧的编号k＝1,…,J，J为最后一帧的编号，x_k-1和P_k-1分别为前一帧的跟踪点坐标和误差协方差矩阵，和P′_k分别为预测的当前帧的跟踪点坐标和误差协方差矩阵，A为状态转移矩阵，Q为过程噪声的协方差矩阵，由于卡尔曼滤波算法中假设过程噪声为白噪声，因此过程噪声的协方差矩阵状态转移矩阵以及跟踪点坐标和误差协方差矩阵的初始值需要根据实验过程的实际跟踪效果来确定；A^T中的T表示矩阵转置。