[发明专利]基于改进YOLOv5的多任务全景驾驶感知方法与系统

说明书

本发明属于自动驾驶技术领域，公开了一种基于改进YOLOv5的多任务全景驾驶感知方法与系统。本发明的方法包括对数据集中的图像进行图片预处理，得到输入图像；利用改进YOLOv5的主干网络提取输入图像的特征，得到特征图；主干网络由将YOLOv5主干网络中C3模块替换为反转残差瓶颈模块得到；将特征图输入颈部网络得到的特征图与主干网络得到的特征图融合；将融合特征图输入到检测头进行交通目标检测；将颈部网络的特征图输入到分支网络，进行车道线检测和可行驶区域分割。采用本发明能够实时、高精度的处理车辆周围场景信息，帮助车辆决策系统做出判断，能够同时进行交通目标检测、可行驶区域分割和车道线检测这三个任务。

技术领域

本发明属于自动驾驶技术领域，具体涉及一种基于改进YOLOv5的多任务全景驾驶感知方法及系统。

背景技术

深度学习对于许多领域的最新进展至关重要，尤其是在自动驾驶方面。自动驾驶汽车中的许多深度学习应用都在其感知系统中。因为感知系统可以从一个放在车上的单目相机拍摄的图像中提取视觉信息，并帮助车辆的决策系统做出良好的驾驶决策来控制车辆行为。为了车辆能在遵守交通规则前提下安全的行驶在道路上，视觉感知系统应该能够实时的处理周围的场景信息，然后来帮助决策系统做出判断，包括：障碍物的位置、道路是否可行驶、车道的位置等。因此，全景驾驶感知算法必须确保对交通目标检测、可驾驶区域分割和车道线检测三个最关键的任务进行检测。

因此很多研究者提出了多任务网络，该网络可以同时处理多个任务而不是逐个处理来加速图像分析过程，该网络还可以在多个任务之间共享信息，这可能会提高每个任务的性能，因为多任务网络通常共享相同主干网络用于特征提取。其中，有的研究者提出了一个实例分割算法Mask R-CNN，该算法用于联合检测对象和分割实例，每个任务都达到了最先进的性能。但这不可能直接应用于智能交通领域，因为该网络无法检测可行驶区域和车道线。有的研究者提出了MultiNet网络结构，该网络结构由一个共享的主干网络和三个单独的分支网络，用于分类，目标检测和语义分割。它在这些任务上表现良好，并在KITTI可驾驶区域分割任务上达到了最先进的水平。然而，在全景驾驶感知系统中，分类任务不如车道检测那么重要。有的研究者提出了DLT-Net网络结构，该网络结构将交通目标检测、可驾驶区域分割和车道线检测结合在一起，并提出了上下文张量来融合分支网络之间的特征地图，以共享相互信息。虽然具有竞争性的性能，但它不能达到实时性。有的研究者为全景驾驶感知系统构建了一个高效的多任务网络（YOLOP），该网络包括目标检测、可驾驶区域分割和车道检测任务，可以在嵌入式设备Jetson TX2上通过TensorRT部署实现实时性，虽然在实时性和高精度上都达到了先进的水平，但它的三分支网络分别用于处理三个不同的任务增加了网络的推理时间。

综上所述，全景驾驶感知算法中由于可行驶区域分割和车道线检测任务分别采用不同的分支网络进行网络推理，增加了网络的推理时间，因此存在一定的改进空间。

发明内容

本发明目的是：针对现有技术的不足，提供一种基于改进YOLOv5的多任务全景驾驶感知方法与系统，能够实时、高精度的处理车辆周围的场景信息，帮助车辆的决策系统做出判断，能够同时完成交通目标检测、可驾驶区域分割和车道线检测这三个任务。

具体地说，本发明是采用以下技术方案实现的。

一方面，本发明提供一种基于改进YOLOv5的多任务全景驾驶感知方法，包括：

采用YOLOv4的图片预处理方法对车载摄像头采集的视频中每一帧图像进行图片预处理，得到输入图像；

利用改进YOLOv5的主干网络提取所述输入图像的特征，得到特征图；所述改进YOLOv5的主干网络，由将YOLOv5的主干网络中C3模块替换为反转残差瓶颈模块得到，所述反转残差瓶颈模块由x个反转残差瓶颈组件结构组成，其中，x为自然数；所述反转残差瓶颈组件结构由三层组成，第一层是卷积组件，该层将低维空间映射到高维空间进行维度扩展；第二层是深度可分离卷积层，采用深度可分离卷积进行空间过滤；第三层是卷积组件，该层将高维空间映射到低维空间；