[发明专利]一种融合注意力机制的非机动车违规行为检测方法

说明书

本发明公开了一种融合注意力机制的非机动车违规行为检测方法，特点是预设非机动车辆违规行为数据库，建立样本数据集，对样本数据集依次进行预处理和人工标注；构建目标检测网络，将样本数据集输入至目标检测网络中进行训练，得到目标检测器；将待检测的视频流输入到目标检测器中并逐帧进行目标检测，得到检测目标的位置信息；将检测目标的目标信息输入到deepsort跟踪器中进行目标跟踪，得到检测目标的ID和运动轨迹；根据检测目标的位置信息、ID和运动轨迹，使用预设的非机动车辆违规行为数据库检测当前帧中是否存在违规行为；优点是在原yolov5网络中加入Transformer注意力机制和SE注意力机制，增强全局特征提取和局部特征提取，提高了对微小目标的检测率和准确率。

技术领域

本发明涉及一种非机动车违规行为检测方法，尤其是一种融合注意力机制的非机动车违规行为检测方法。

背景技术

目前对非机动车违规行为检测的研究工作相对较少，其主要工作流程包括目标检测和目标跟踪。

对目标检测而言，根据网络结构的不同大致可划分为两类：基于候选区域的算法和基于回归的算法，基于候选区域的类算法通过设置候选区域进行特征提取，主要包括R-CNN、Fast R-CNN、Faster R-CNN等算法，但由于每个候选区域都需要进行卷积操作，导致运行速度慢；基于回归的算法以SSD系列和YOLO系列算法为代表，不生成候选区域，直接对提取到的特征进行类别预测和位置回归，提高了检测的运行效率，其中YOLOv5的主干网络选用CSP1_X结构，缓解了大量推理计算问题，不仅减轻了模型的计算量而且保证了对目标检测的精度，并且YOLOv5采用了FPN+PAN的结构用来传递深层语义特征和浅层位置信息，进一步提高了模型的检测精度，取得了优异的检测效果，但是YOLOv5算法对微小目标的特征提取尚有待改进，在实际检测中仍存在定位不准、漏检、误检等问题。

对目标跟踪而言，主流算法是基于匈牙利算法的后端跟踪优化算法，主要包括SORT和Deepsort算法，其中，SORT算法将检测到的目标状态传播到未来帧中，将当前检测与现有目标相关联，管理跟踪目标的生命周期；Deepsort算法在SORT算法的基础上加入了外观信息以实现较长时间遮挡的目标跟踪，但由于基于匈牙利算法的后端跟踪优化算法的跟踪效果依赖于目标检测器的准确率和特征区分的程度，对微小目标以及密集目标的漏检率相对较高。

发明内容

本发明所要解决的技术问题是提供一种融合注意力机制的非机动车违规行为检测方法，不但提高了对微小目标的检测率，而且提高了检测的准确率。

本发明解决上述技术问题所采用的技术方案为：一种融合注意力机制的非机动车违规行为检测方法，包括以下步骤：

①预设非机动车辆违规行为数据库，所述的非机动车辆违规行为数据库包括未戴头盔行驶、载人行驶和逆向行驶，通过路面监控摄像头采集含有非机动车辆行驶的图像并建立样本数据集，对样本数据集进行预处理的得到预处理后的样本数据集，对预处理后的样本数据集进行人工标注并得到标注信息；

②通过在yolov5网络中加入SE注意力机制和Transformer注意力机制构建得到目标检测网络，设置训练参数，将人工标注后的样本数据集输入至目标检测网络中进行训练，得到目标检测器；

③将待检测的视频流输入到目标检测器中并从第一帧开始逐帧进行目标检测，得到检测目标的位置信息；

④将检测目标的位置信息输入到deepsort跟踪器中进行目标跟踪，得到检测目标的ID和运动轨迹；

⑤根据由步骤③得到的检测目标的位置信息以及由步骤④得到的检测目标的ID和运动轨迹，使用预设的非机动车辆违规行为数据库检测当前帧中是否存在违规行为，若是，则输出检测结果；若否，则执行步骤⑥；

⑥判断当前帧是否为待检测的视频流的最后一帧，若否，则将下一帧作为当前帧并返回执行步骤⑤；若是，则结束。