[发明专利]一种影像优先的交通标牌变化检测方法

说明书

本发明公开了一种影像优先的交通标牌变化检测方法。首先利用交通标志影像数据集训练YOLOv4网络。其次，基于人工选择的特征点和共线条件方程计算三维激光点云数据和影像数据所在坐标系之间的转换关系。然后，利用YOLOv4定位待检测交通影像的交通标志预测框，并将与其对应的三维点云数据通过共线条件方程进行逆映射，得到四棱锥形点云，进而基于欧式聚类从中提取得到交通标志点云，并利用增长算法获得支撑杆点云。最后在点云层面对交通标牌进行状态评估，判断其是否发生了不良变化。该方法直接利用影像上的准确检测结果将交通标志点云的位置锁定在一个四棱锥体内，不需要处理庞大的点云数据，是一种通用性强鲁棒性高的交通标志检测及其不良变化评估方案。

技术领域

本发明属于交通标志牌检测技术领域，尤其涉及一种影像优先的交通标牌变化检测方法。

背景技术

交通标志牌是保证交通安全的重要设施，它们提供了关于公路和周边环境的信息，被用于规范与引导驾驶员的行为。但是，交通标牌可能因为自然和人为因素而发生形变、倾斜、遮挡等不良的变化，会严重威胁到交通安全。目前基于点云的交通标志提取方案受限于形状、平面性等先验知识，对发生了变化的交通标牌并不一定成立。且三维点云缺少纹理及光谱信息，会产生较多的误检。而现有的检测网络对不同视角、不同遮挡下的交通标志都表现出了良好的鲁棒性，可以准确检测到影像中的交通标志。然而正是由于检测网络的鲁棒性对各种不良变化产生了一定的屏蔽效果，使网络无法识别到交通标牌发生的变化，因此需要利用点云引入交通标志的空间信息。

因此，需要找到一种有效的方法综合利用点云和影像信息进行交通标志的不良变化检测。

发明内容

针对现有技术的缺陷或改进需求，本发明提出了一种影像优先的交通标牌变化检测方法及系统，由此解决如何有效综合利用点云和影像信息进行交通标志不良变化检测的技术难题。

为实现上述目的，本发明提出了一种影像优先的交通标牌变化检测方法，包括：

步骤1：引入包含不同大小、形状、遮挡程度以及光照条件的交通标志影像构建交通标志影像数据集，并人工标记每张交通标志影像中交通标志的标记框；构建YOLOv4小目标检测网络，将交通标志影像数据集每张交通标志影像作为训练集依次输入至YOLOv4小目标检测网络进行预测得到每张交通标志影像交通标志的预测框，结合每张交通标志影像中交通标志的标记框构建损失函数，进一步通过余弦退火算法进行迭代优化训练，得到训练后YOLOv4小目标检测网络；

步骤2：引入交通标志影像数据集及每张交通标志影像数据所对应的三维激光点云数据，构建三维激光点云数据集；人工选择三维激光点云数据与交通标志影像的特征点并构建特征点集合；利用特征点集合中三维激光点的坐标和交通标志影像的像素坐标构建共线条件方程，计算三维激光点云数据所在的物方坐标系和交通标志影像数据所在的像方坐标系之间的旋转矩阵以及摄影中心在物方坐标系下的坐标；

步骤3：将待检测的交通影像通过步骤1所述的训练后YOL0v4小目标检测网络，预测得到待检测的交通标志影像的交通标志预测框；将待检测的交通影像对应的三维点云数据通过共线条件方程进行逆映射得到待检测的交通影像对应的三维点云数据的像素坐标；将经过逆映射后得到的像素坐标落在待检测的交通标志影像的交通标志预测框范围内的三维点从待检测交通标志影像对应的三维点云数据中提取出来，得到交通标志预测框所对应的四棱锥形点云；基于距离准则对四棱锥形点云进行欧式聚类提取得到交通标志点云；利用增长算法获得支撑杆点云，通过交通标志点云、支撑杆点云获得包含交通标志和支撑杆的完整交通标牌。

步骤4：对交通标牌点云进行交通标志的状态评估，进而判断是否发生了不良变化。具体为：利用交通标志聚类簇的局部法向量判断交通标志是否发生形变；利用交通标志聚类簇高反射强度区域的占比判断交通标志表面是否被覆盖；根据交通标志聚类簇是否为距离摄影中心最近的一个聚类簇判断交通标志是否被遮挡；通过计算交通标志支撑杆的方向向量与垂直方向的夹角判断交通标牌是否发生倾斜；通过计算交通标志聚类簇的法向量与道路的通行方向的夹角判断交通标牌是否发生旋转。