[发明专利]一种融合注意力机制的非机动车违规行为检测方法

权利要求书

1.一种融合注意力机制的非机动车违规行为检测方法，其特征在于包括以下步骤：

①预设非机动车辆违规行为数据库，所述的非机动车辆违规行为数据库包括未戴头盔行驶、载人行驶和逆向行驶，通过路面监控摄像头采集含有非机动车辆行驶的图像并建立样本数据集，对样本数据集进行预处理的得到预处理后的样本数据集，对预处理后的样本数据集进行人工标注并得到标注信息；

②通过在yolov5网络中加入SE注意力机制和Transformer注意力机制构建得到目标检测网络，设置训练参数，将人工标注后的样本数据集输入至目标检测网络中进行训练，得到目标检测器；

③将待检测的视频流输入到目标检测器中并从第一帧开始逐帧进行目标检测，得到检测目标的位置信息；

④将检测目标的位置信息输入到deepsort跟踪器中进行目标跟踪，得到检测目标的ID和运动轨迹；

⑤根据由步骤③得到的检测目标的位置信息以及由步骤④得到的检测目标的ID和运动轨迹，使用预设的非机动车辆违规行为数据库检测当前帧中是否存在违规行为，若是，则输出检测结果；若否，则执行步骤⑥；

⑥判断当前帧是否为待检测的视频流的最后一帧，若否，则将下一帧作为当前帧并返回执行步骤⑤；若是，则结束。

2.根据权利要求1所述的一种融合注意力机制的非机动车违规行为检测方法，其特征在于所述的步骤①中对预处理后的样本数据集进行人工标注并得到标注信息的具体过程如下：利用Label Img标注工具对样本数据集中的每张非机动车辆图像中的各个需要检测的检测目标进行标注，得到并保存标注信息；所述的标注信息包括标注框的四个顶点坐标信息以及标注框的类别信息；所述的检测目标包括头、头盔、二轮车和三轮车。

3.根据权利要求2所述的一种融合注意力机制的非机动车违规行为检测方法，其特征在于所述的步骤③中，所述的位置信息包括检测框的中心点坐标信息、四个顶点坐标信息和类别信息。

4.根据权利要求3所述的一种融合注意力机制的非机动车违规行为检测方法，其特征在于所述的步骤⑤中使用预设的非机动车辆违规行为数据库检测当前帧中是否存在违规行为的具体过程如下：

⑤-1判断当前帧中的检测目标的检测框的类别信息是否有非机动车辆，所述的非机动车辆包括二轮车和三轮车，若否，则返回步骤③；若是，则执行步骤⑤-2；

⑤-2判断当前帧是否为待检测的视频流的第一帧，若是，则执行步骤⑤-5；若否，则执行步骤⑤-3；

⑤-3判断该非机动车辆在当前帧和上一帧的ID是否一致，若否，则执行步骤⑥；若是，则执行步骤⑤-4；

⑤-4判断该非机动车辆在当前帧和上一帧的运动轨迹是否符合正常行驶时的交通规则，若否，则当前帧中存在逆向行驶的违规行为；若是，则执行步骤⑤-5；所述的正常行驶时的交通规则具体参照城市交通规则；

⑤-5判断该非机动车辆的检测框内是否有检测框的类别信息为头，且头的检测框的四个顶点坐标信息在该非机动车辆的检测框的中心点坐标信息上方，若是，则执行步骤⑤-6；若否，则执行步骤⑤-7；

⑤-6判断是否有超过一个的检测框的类别信息为头，若是，则当前帧中存在载人行驶的违规行为；若否，则当前帧中存在未戴头盔行驶的违规行为；

⑤-7判断该非机动车辆的检测框内是否有检测框的类别信息为头盔，且头盔的检测框的四个顶点坐标信息在该非机动车辆的检测框的中心点坐标信息上方，若否，则执行步骤⑥；若是，则执行步骤⑤-8；

⑤-8判断是否有超过一个的检测框的类别信息为头盔，若否，则当前帧为正常行驶，执行步骤⑥；若是，则当前帧中存在载人行驶的违规行为。

5.根据权利要求1所述的一种融合注意力机制的非机动车违规行为检测方法，其特征在于所述的步骤①中，所述的样本数据集包括至少2500张未戴头盔行驶的非机动车辆图像、至少2500张载人行驶的非机动车辆图像、至少2500张逆向行驶的非机动车辆图像和至少2500张正常行驶的非机动车辆图像。

6.根据权利要求1所述的一种融合注意力机制的非机动车违规行为检测方法，其特征在于所述的步骤①中所述的预处理为对所述的样本数据集中每张非机动车辆图像进行亮度调整扩充样本数据集。