[发明专利]一种结合物体检测和物体跟踪的实时路牌检测方法

说明书

本发明公开了一种结合物体检测和物体跟踪的实时路牌检测方法，该方法构建路牌检测网络用于定位图片中路牌的坐标位置，并从含有路牌的待测视频中抽取初始帧，输入到训练好的路牌检测网络中；然后通过非极大值抑制(NMS)和置信度阈值法得到初始帧的路牌检测坐标。将路牌检测坐标输入到KCF算法中，得到待测视频中下一帧的路牌跟踪坐标，根据需求对待测视频连续跟踪固定的帧数，并将连续跟踪的最后一帧作为新的初始帧，重复以上步骤，得到待测视频中每一帧中是否含有路牌以及路牌的坐标。该方法结合了检测方法的精确性，同时利用了跟踪算法的快速性。

技术领域

本发明属于机器视觉应用领域，特别涉及一种结合物体检测和物体跟踪的实时路牌检测方法。

背景技术

路牌检测系统的研究从上个世纪初就开始起步，随着智能驾驶和自动驾驶备受关注，它也成为热门研究方向。基于机器学习的路牌检测方法具备成本小、准确度高、实时性强、易于实现的优点，是无人驾驶领域的必研课题。由于交通环境的复杂性，光照天气的多变性，各个国家地区交通标志的差异性，目前的路牌检测还处于初步实地应用阶段，检测的标志类别有限，检测精度和效率都有很大的提高空间，所以高精度和低延迟的路牌检测还有待开发。

目前的路牌检测主要有两种主流方式：一种是双步检测方式，还有一种是单步检测方式。双步检测指的是先通过粗略的检测包含路牌的候选区域，然后再精确的定位出路牌的精确坐标，算法主要有FasterRCNN算法等。单步检测是指将图片输入神经网络，直接得到坐标的方法，比如SSD算法和YOLO算法。前者网络结构复杂且庞大，计算速度较慢，但优点是精度高，后者网络小，速度快，但是精度上远远不如前者，而且对神经网络的设计要求比较高。

发明内容

本发明的目的在于针对现有路牌检测中的技术不足，提供一种结合了物体检测和物体跟踪优点的实时路牌检测方法。

本发明的目的是通过以下技术方案来实现的：一种结合物体检测和物体跟踪的实时路牌检测方法，包括以下步骤：

(1)采集汽车行进过程中的视频；按照固定帧数间隔抽取视频帧作为训练图片集，将含有路牌的训练图片用矩形框在图片中标注出路牌的坐标，将坐标保存在xml文件中；把所有的xml文件和训练图片作为训练集；

(2)构建路牌检测网络用于定位图片中路牌的坐标位置，输入步骤(1)中的训练图片集，输出为每张图片中预测的路牌坐标和置信度。

所述路牌检测网络的基础网络为在ImageNet数据集上预训练的InceptionV4模型除去全连接层之后的网络，在基础网络之后利用区域候选网络(RPN)得出含有路牌候选区域坐标的特征图，将该特征图通过兴趣区域池化(ROIPooling)操作得到统一大小的候选区域的特征图，将各个特征图输入到定位和分类网络中得到候选区域在原图中的精确坐标和置信度。

(3)对构建好的路牌检测网络，输入步骤(1)中得到的训练集进行训练，保存路牌检测网络参数，得到训练好的路牌检测网络；

(4)从含有路牌的待测视频中抽取初始帧，输入到步骤(3)中训练好的路牌检测网络中，通过非极大值抑制(NMS)和置信度阈值法得到初始帧的路牌检测坐标。

(5)将步骤(4)中输出的路牌检测坐标输入到KCF算法中，得到待测视频中下一帧的路牌跟踪坐标，根据需求对待测视频连续跟踪固定的帧数；

(6)将步骤(5)中连续跟踪的最后一帧作为新的初始帧，重复步骤(4)和(5)，得到待测视频中每一帧中是否含有路牌以及路牌的坐标。

进一步地，所述步骤(1)中，训练图片中路牌的坐标标注采用labelImg软件。