[发明专利]基于深度学习的交通锥桶检测定位方法、系统及存储介质

说明书

本发明涉及一种基于深度学习的交通锥桶检测定位方法、系统及存储介质，其包括：在预先获取的彩色图像中对交通锥桶进行检测识别；在预先获取的深度图像中对交通锥桶进行检测识别；将彩色图像的检测识别结果与深度图像的检测识别结果进行匹配，得到最终的交通锥桶的类别和三维空间位置。本发明将改进的YOLOv4算法应用于交通锥桶检测任务中，能够准确、全面和快速的从图像中检测到交通锥桶，并通过匹配彩色图像和深度图像检测结果的方法，同时获取到交通锥桶的类别和三维位置。

技术领域

本发明涉及一种基于机器视觉的目标检测技术领域，特别是关于一种基于深度学习的交通锥桶检测和定位方法、系统及存储介质。

背景技术

随着电子信息技术和汽车工业的发展，辅助驾驶、自动驾驶技术成为热门的研究方向，而基于机器视觉系统的目标检测技术是辅助驾驶、自动驾驶领域的核心技术之一。目前，对于车辆、行人和交通标志等已有较好的检测效果，但是对于检测道路上的交通锥桶，国内外的相关研究较少。交通锥桶通常放置于发生特殊状况的道路或引导、标识临时道路。在自动驾驶任务中，由于车辆在不断移动，因此对检测速度和检测精度都有一定要求。

在交通锥桶识别领域，过去常常使用基于图像特征的识别方法，如形状特征和颜色特征。HUANG Yong等人提出使用形状匹配的方法检测候选区域是否是交通锥桶。对图像进行预处理，并提取图像的轮廓，与预先设置好的模板进行匹配，以确定目标是否为交通锥桶，实验结果显示可以检测到距离在45m内的交通锥桶。但这种方法受到环境的影响较大，容易将相近形状的物体误检为锥桶。近年来将机器学习技术应用到交通锥桶检测问题上。Lester Kalms等人将Viola-Jones算法应用于交通锥桶检测，通过提取交通锥桶的Haar特征，训练级联分类器，并进行交通锥桶检测。但这种方法鲁棒性较差，对环境光线造成的锥桶亮度和色调的适应性较差。

得益于卷积神经网络在目标检测任务中的高精度和实时性，以及网络优秀的泛化能力，可将其应用于交通锥桶检测。Ankit Dhall等人训练了一个YOLOv2网络用于检测交通锥桶，并使用了一个卷积神经网络提取交通锥桶检测结果上的关键点，并使用关键点和交通锥桶的先验信息进行PnP解算，获取交通锥桶的三维位置，但是该方法算法复杂，实时计算资源消耗量大，应用在嵌入式领域硬件成本高，且可能产生较大误差。

发明内容

针对上述问题，本发明的目的是提供一种基于深度学习的交通锥桶检测和定位方法、系统及存储介质，其能提高交通锥桶检测速度和精度，并降低系统计算资源消耗。

为实现上述目的，本发明采取以下技术方案：一种基于深度学习的交通锥桶检测和定位方法，其包括以下步骤：1)在预先获取的彩色图像中对交通锥桶进行检测识别；2)在预先获取的深度图像中对交通锥桶进行检测识别；3)将彩色图像的检测识别结果与深度图像的检测识别结果进行匹配，得到最终的交通锥桶的类别和三维空间位置。

进一步，采用改进的YOLOv4的彩色图检测网络进行交通锥桶检测识别；采用改进的YOLOv4的深度图检测网络在深度图像中进行交通锥桶检测识别。

进一步，所述检测识别方法包括以下步骤：

1.1)制作交通锥桶的彩色图像数据集或深度图像数据集，并制作数据集中图片文件信息对应的标签文件；

1.2)采用k-means聚类计算锚盒框大小；

1.3)将训练集图片按随机顺序传入改进的YOLOv4网络中，并对图片做增强处理；

1.4)使用测试集对网络进行评估，记录平均精度均值mAP，并保存最高mAP时的网络权重作为最终权重，当训练次数达到预定次数后，训练停止；

1.5)加载最终权重，对测试集进行评估，判断网络是否出现过拟合，当检测结果与测试集中的检测结果相近，则认为训练完成；