[发明专利]一种基于视觉的智能网联公交客流检测方法及系统

权利要求书

1.一种基于视觉的智能网联公交客流检测方法，其特征在于，所述的客流检测方法包括：

步骤1：获取数据集，并对数据集进行标注及预处理；

步骤2：构建基于视觉的客流检测模型；

步骤3：对客流检测模型进行训练；

步骤4：获取站台和车内的实时图像，输入客流检测模型，获取客流初步检测结果；

步骤5：对步骤4获取的检测结果进行去重，获得最终检测结果。

2.根据权利要求1所述的一种基于视觉的智能网联公交客流检测方法，其特征在于，所述的数据集包括站台场景图像和车辆内部场景图像；所述的站台场景图像标注时对乘客头部进行标注；所述的车辆内部场景图像标注时对乘客头部和身体部分分别进行标注。

3.根据权利要求1所述的一种基于视觉的智能网联公交客流检测方法，其特征在于，所述的步骤1中对数据集的标注方法具体为：

步骤1-1：对于新采集的数据集，进行部分标注；

步骤1-2：对标注后的图像进行数据增强，得到初始化数据集；

步骤1-3：使用初始化数据集训练客流检测模型，获得预训练模型；

步骤1-4：使用预训练模型对数据集剩余数据及其数据增强后的图像进行预测推理，将推理结果保存，并将标签文件与步骤1-1中进行部分标记的图像混合；

步骤1-5：对混合后的标签与图像进行人工标注；

步骤1-6：周而复始，使用先前训练的模型来对新数据集进行推理标注。

4.根据权利要求1所述的一种基于视觉的智能网联公交客流检测方法，其特征在于，所述的客流检测模型包括：

主干特征提取网络，采用CSPDarknet53网络，网络的输入为图像，输出为三个特征层；

特征金字塔网络，包括SPPNet模块和PANet模块，其中SPPNet模块利用不同池化和最大池化对输入进来的特征层进行池化后再进行堆叠，PANet进行上采样、下采样和特征融合；

预测网络，使用Head网络对特征层进行预测，获得预测结果。

5.根据权利要求4所述的一种基于视觉的智能网联公交客流检测方法，其特征在于，所述的步骤3具体为：

使用Pytorch对客流检测模型进行训练，将站台场景和车内场景图像分开训练，对于站台场景只进行乘客头部数据集的识别训练，对于车内场景同时进行头部和身体部分的识别训练。

6.根据权利要求4所述的一种基于视觉的智能网联公交客流检测方法，其特征在于，所述的客流检测模型的激活函数为Mish函数。

7.根据权利要求1所述的一种基于视觉的智能网联公交客流检测方法，其特征在于，所属的步骤5包括：

首先，针对站台场景及车内场景进行摄像区域去重，具体方法为：

检测所有摄像区域中的重复区域，然后判断目标检测结果的检测框是否位于重复区域内，若位于重复区域内，则不进行计数，若没有位于重复区域内，则进行计数；

其次，针对车辆内部场景，对头部检测框A和身体检测框B进行IOU判断，具体方法为：

当IOU大于预设阈值T时，则证明该头部检测框属于该身体检测框，两个检测框进行一次计数；反之，则判定其为两名乘客，进行两次计数。

8.根据权利要求1所述的一种基于视觉的智能网联公交客流检测方法，其特征在于，所述的步骤5还包括：

利用图像拼接计数对摄像机拍摄的图片进行拼接，并对客流数量进行可视化展示，根据客流数量进行拥挤度判断，并以图标的不同颜色进行展示预警。

9.一种用于如权利要求1～8中任一项所述客流检测方法的基于视觉的智能网联公交客流检测系统，其特征在于，所述的客流检测系统包括：

图像采集设备，分别安装在网联公交站台和车内，用于采集站台场景和车内场景的实时图像，并输入客流检测模块；

客流检测模块，内嵌客流检测模型和去重模块，用于分别对站台场景和车内场景进行客流检测；

可视化模块，用于对客流检测结果进行可视化处理。

10.根据权利要求9所述的一种基于视觉的智能网联公交客流检测系统，其特征在于，所述的客流检测模型包括：

主干特征提取网络，采用CSPDarknet53网络，网络的输入为图像，输出为三个特征层；

特征金字塔网络，包括SPPNet模块和PANet模块，其中SPPNet模块利用不同池化和最大池化对输入进来的特征层进行池化后再进行堆叠，PANet进行上采样、下采样和特征融合；

预测网络，使用Head网络对特征层进行预测，获得预测结果；

所述的去重模块具体为：

首先，针对站台场景及车内场景进行摄像区域去重，具体方法为：

检测所有摄像区域中的重复区域，然后判断目标检测结果的检测框是否位于重复区域内，若位于重复区域内，则不进行计数，若没有位于重复区域内，则进行计数；

其次，针对车辆内部场景，对头部检测框A和身体检测框B进行IOU判断，具体方法为：

当IOU大于预设阈值T时，则证明该头部检测框属于该身体检测框，两个检测框进行一次计数；反之，则判定其为两名乘客，进行两次计数。