[发明专利]一种实况全景交通标志图片预处理方法

说明书

本发明公开了一种实况全景交通标志图片预处理方法，依靠几何透视的原理对实况全景交通图像训练集中的交通标志进行统计分析，主要统计交通标志在全景图像中的数量分布规律，根据统计结果对待检测全景交通图像进行预处理，将处理后所得到的图像块送入推理网络进行预测，预测结果经过NMS算法处理，选出最优预测框，将其映射到原始全景交通图像上输出，解决了实况全景交通标志图片预测阶段由于压缩图片，造成预测结果不理想以及直接对原始图像进行滑动窗口处理，过多消耗计算资源的问题。

技术领域

本发明涉及交通标志检测与识别技术领域，尤其涉及一种实况全景交通标志图片预处理方法。

背景技术

交通标志检测与识别是无人驾驶系统与智能交通系统中必不可少的一个重要环节，具有很高的研究与应用价值。经过长时间的研究与努力，该领域已经取得丰硕的成果。现阶段，目标检测模型在深度学习的带领下，速度和准确度都有较大提升，但是在智能交通系统中通常捕获的是全景图像，交通标志的尺寸在图像中占比较小，并且边缘不明显，这会给检测识别带来很大困难。

现阶段大部分深度学习算法对输入图片大小都有要求，或某一特定输入大小会取得更好的结果，所以很多网络在输入时就将图片压缩到相应规定尺寸，之后送入网络进行后续推理预测。但是针对实况全景交通标志图片，交通标志的尺寸在图像中占比较小，进行压缩后交通标志甚至肉眼无法观测，以至于无法准确检测出交通标志。

为解决这个问题，有学者提出滑动窗口算法，即将原始实况全景交通标志图，通过滑动窗口进行滑窗处理，滑窗的尺寸即为网络要求输入尺寸，并且使相邻两个滑窗产生的图片之间有一定范围的重叠，这样可以避免某些交通标志因为被切开而无法成功检测。滑动窗口直接将原图裁剪成相应推理网络输入尺寸，未进行压缩，因而完全保留了原图的信息，确保小的交通标志信息完整性，增加了小交通标志检出的概率，但一定程度上增加了计算的开销。

还有学者通过观察训练集，先将原始实况全景交通图片进行裁剪,裁去图片顶端和图片底端的一部分,这些不可能出现交通标志的地方，进而缩小检测范围，进一步，为降低检测时间，其将原图进行一定比例压缩，对压缩后的图片进行滑动窗口处理，处理方法同上。此方法极大的减少了预测时间，而且在一定比例上压缩原图确实不会影响大部分交通标志的检出，但对于小交通标志，其尺寸在2000*2000像素的全景交通标志图中甚至只有几到十几像素，此方法对这类交通标志检出是十分不利的。

在实况全景交通标志的环境下，捕获的交通标志都是大分辨率下的图像，将大分辨率图像压缩送入网络检测，会造成小交通标志被压缩而严重失真，造成无法成功被检测，或单纯的将大分辨率图像进行滑动窗口处理，会大大增加运算开销等缺点。

发明内容

本发明提出一种基于几何透视的实况全景交通图像预处理方法，根据此规律对待预测的全景交通标志图像进行预处理，以解决实况全景交通标志图片预测阶段，由于推理网络输入限制，将高分辨率图片压缩使图片中的目标发生失真，造成预测结果不理想的问题，或直接将原始图像进行滑动窗口处理，大大增加运算开销等缺点。

本发明提出基于几何透视法的实况全景交通图像预处理方法包括：

选取全景交通图像中的训练集，并根据所述训练集分析统计出存在交通标志的上界和下界；

根据上界和下界对待检测图像进行截取操作得到存在交通标志的区域图像；

缩放得到的区域图像并进行滑动窗口处理，得到第一待检测图像块；

将所述训练集中所有交通标志映射到尺寸与全景交通图像相同的空白图像上，对该图像以预设尺寸的矩形框进行移动，并记录下矩形框中完整交通标志数量最多的矩形框位置；

对待检测图像中所述矩形框位置进行滑动窗口处理，截取出第二待检测图形块；

将原始的待检测全景交通图像缩放至推理网络输入尺寸，获得第三待检测的图像块；