[发明专利]基于改进YOLOv3网络的无人车夜间环境感知方法

说明书

本发明涉及一种基于改进YOLOv3网络的无人车夜间环境感知方法。本发明应用于无人车领域，将YOLOv3网络应用于夜间红外图像，改进后的YOLOv3网络具有端到端的特点，将红外图像中周边车辆角度信息加入到YOLOv3网络边界框位置信息中，对周边车辆行驶意图做出判断，实现周边车辆角度预测，输入一张图像直接可以预测出目标信息，大幅提升速度的同时加强了对小目标物体的检测，有效的保证了预测的正确性和实时性。

技术领域

本发明涉及一种改进YOLOv3网络的无人车夜间环境感知方法，属于夜视红 外图像处理领域。

背景技术

无人车在行驶过程中需要对环境信息进行实时获取并处理。近年来无人车夜 视场景的环境感知研究受到广泛关注，从目前的大多数技术方案来看，多数采用 激光雷达对周围环境三维空间感知来获取环境信息，其次是相机获取的图像信息， 以及毫米波雷达获取的定向目标距离信息。但激光雷达价格昂贵，相较于可见光 图像，红外图像能够在夜间提供更丰富的视觉信息，为无人车安全驾驶提供保障。 因此采用夜间拍摄的红外图像进行环境感知具有重要的研究意义。

无人车的环境感知目前多应用于可见光领域，夜视图像研究较少。夜视图像 环境感知能够扩展无人车在夜间的识别能力。夜间拍摄的红外图像纹理信息少， 图像成像模糊，相比可见光条件下的无人车环境感知难度更大。

夜间环境感知中的核心问题之一是无人车周边行人以及车辆的检测，夜间道 路能见度低，采用夜间无人车获取的单目红外图像对夜间行人，车辆进行目标检 测，可以有效帮助无人车对障碍物及时作出合理决策。

在计算机视觉领域，目标检测主要解决两个问题：图像上多个目标在哪里(位 置)以及是什么(类别)。其发展历程分为3个阶段：

第一阶段、传统的目标检测方法。大致思想为，首先在给定的图像上选择一 些候选的区域，然后对这些区域提取特征，最后使用训练的分类器进行分类。

第二阶段、以R-CNN为代表的结合候选区域(Region proposal)和CNN分类 的目标检测框架(如R-CNN，SPP-NET，Fast R-CNN，Faster R-CNN，R-FCN)。

第三阶段、以YOLO为代表的将目标检测转换为回归问题的端到端 (End-to-End)的目标检测框架(如YOLO，SSD)。

目标检测算法可以让无人车在不使用昂贵的雷达传感器情况下传达实时的 场景信息，帮助无人车快速做出相应决策。YOLO网络改进了Faster R-CNN使用 区域建议网络(RPN)生成候选区域，再用分类算法对候选区域分类后得到目标 边界的方法，改用整张图作为网络的输入，直接在输出层回归边界框的位置和边 界框所属的类别。YOLO网络遵循端到端训练和实时检测，检测速度较Faster R-CNN大幅提升，解决了目前基于深度学习检测中的速度问题，真正实现实时性。

周边车辆的行驶方向对帮助无人车感知周边环境变化具有重要意义。如果将 目标检测与车辆行驶方向信息结合，可以帮助无人车根据车辆行驶方向判断周边 车辆的行驶意图，辅助无人车进行决策。如何获取周边车辆的方向信息，判断车 辆行驶意图，帮助无人车对目标车辆及时作出决策是难点。

目前国内外对于夜间红外图像的环境感知研究还不够深入，尚无成熟的解决 方案。

发明内容

本发明的目的是：结合在彩色可见光图像处理领域较为成功的YOLOv3网络 进行夜间红外图像的目标检测，并提出改进的YOLOv3网络对识别的车辆进行方 向判断，为无人车在恶劣视觉条件下提供丰富且直观的环境信息。

为了达到上述目的，本发明的技术方案是提供了一种基于改进YOLOv3网络 的无人车夜间环境感知方法，其特征在于，包括以下步骤：