[发明专利]基于深度学习的交通锥桶检测定位方法、系统及存储介质

权利要求书

1.一种基于深度学习的交通锥桶检测和定位方法，其特征在于，包括以下步骤：

1)在预先获取的彩色图像中对交通锥桶进行检测识别；

2)在预先获取的深度图像中对交通锥桶进行检测识别；

3)将彩色图像的检测识别结果与深度图像的检测识别结果进行匹配，得到最终的交通锥桶的类别和三维空间位置。

2.如权利要求1所述交通锥桶检测和定位方法，其特征在于，采用改进的YOLOv4的彩色图检测网络进行交通锥桶检测识别；采用改进的YOLOv4的深度图检测网络在深度图像中进行交通锥桶检测识别。

3.如权利要求2所述交通锥桶检测和定位方法，其特征在于，所述检测识别方法包括以下步骤：

1.1)制作交通锥桶的彩色图像数据集或深度图像数据集，并制作数据集中图片文件信息对应的标签文件；

1.2)采用k-means聚类计算锚盒框大小；

1.3)将训练集图片按随机顺序传入改进的YOLOv4网络中，并对图片做增强处理；

1.4)使用测试集对网络进行评估，记录平均精度均值mAP，并保存最高mAP时的网络权重作为最终权重，当训练次数达到预定次数后，训练停止；

1.5)加载最终权重，对测试集进行评估，判断网络是否出现过拟合，当检测结果与测试集中的检测结果相近，则认为训练完成；

1.6)使用训练好的网络和最终权重执行检测识别，输出目标的类别和位置。

4.如权利要求3所述交通锥桶检测和定位方法，其特征在于，所述步骤1.3)中，对YOLOv4网络的改进包括：

对损失函数中边界框回归部分进行改进，将原有比例系数(2-w*h)更改为(2-w*h*2)；

对损失函数中边界框分类部分进行改进，构造一个新的动态分类值c＝α*cls+(1-α)*loc，用于代替网络直接输出的类别分类值在损失函数中计算分类损失，其中α为常数，loc为当前预测的边界框与真实框的IoU，cls为网络输出的类别分类。

5.如权利要求3所述交通锥桶检测和定位方法，其特征在于，所述步骤1.3)中，对于彩色图像的增强处理方法为：将图片转换到HSV色彩通道，并根据配置文件中的色调、饱和度和曝光度参数，在H通道增加[-色调值,色调值]中的随机值，对S和V通道分别随机乘或者除以饱和度和曝光度参数值，达到改变图像色调、饱和度和亮度的目的，再将图片从HSV通道转换回RGB通道，最后根据配置文件中的角度参数，将图片随机旋转[-角度,角度]中的某一角度。

6.如权利要求3所述交通锥桶检测和定位方法，其特征在于，所述步骤1.3)中，对于深度图像的增强处理方法为：根据配置文件的角度参数，将图片随机旋转[-角度,角度]中的某一角度。

7.如权利要求1所述交通锥桶检测和定位方法，其特征在于，所述步骤3)具体包括以下步骤：

3.1)遍历深度图检测识别结果，对于其中的每个检测边界框，都在彩色图检测结果中寻找该交通锥桶对应的彩色图像检测边界框；

匹配方法为：对每个深度图检测结果边界框即原边界框，建立一个新的边界框，需保持该新的边界框与原边界框的中心点相同，新的边界框的宽和高为原边界框的宽和高的倍数，寻找中心点落在新边界框范围内的彩色图像的检测结果边界框，并取一个中心点与原深度图像中心点距离最近的彩色图检测结果边界框作为匹配成功的边界框；

3.2)对于匹配成功的检测结果，在深度图中求其三维空间位置：对深度图检测结果边界框包围的所有像素，求各像素点在坐标系中的坐标的平均值，作为该交通锥桶在三维空间的坐标位置。

8.一种基于深度学习的交通锥桶检测和定位系统，其特征在于，包括：彩色图像处理模块、深度图像处理模块和匹配输出模块；

所述彩色图像处理模块在预先获取的彩色图像中对交通锥桶进行检测识别；

所述深度图像处理模块在预先获取的深度图像中对交通锥桶进行检测识别；

所述匹配输出模块将彩色图像的检测识别结果与深度图像的检测识别结果进行匹配，得到最终的交通锥桶的类别和三维空间位置。