[发明专利]一种结合物体检测和物体跟踪的实时路牌检测方法

权利要求书

1.一种结合物体检测和物体跟踪的实时路牌检测方法，其特征在于，包括以下步骤：

(1)采集汽车行进过程中的视频；按照固定帧数间隔抽取视频帧作为训练图片集，将含有路牌的训练图片用矩形框在图片中标注出路牌的坐标，将坐标保存在xml文件中；把所有的xml文件和训练图片作为训练集；

(2)构建路牌检测网络用于定位图片中路牌的坐标位置，输入步骤(1)中的训练图片集，输出为每张图片中预测的路牌坐标和置信度。

所述路牌检测网络的基础网络为在ImageNet数据集上预训练的InceptionV4模型除去全连接层之后的网络，在基础网络之后利用区域候选网络(RPN)得出含有路牌候选区域坐标的特征图，将该特征图通过兴趣区域池化(ROIPooling)操作得到统一大小的候选区域的特征图，将各个特征图输入到定位和分类网络中得到候选区域在原图中的精确坐标和置信度。

(3)对构建好的路牌检测网络，输入步骤(1)中得到的训练集进行训练，保存路牌检测网络参数，得到训练好的路牌检测网络；

(4)从含有路牌的待测视频中抽取初始帧，输入到步骤(3)中训练好的路牌检测网络中，通过非极大值抑制(NMS)和置信度阈值法得到初始帧的路牌检测坐标。

(5)将步骤(4)中输出的路牌检测坐标输入到KCF算法中，得到待测视频中下一帧的路牌跟踪坐标，根据需求对待测视频连续跟踪固定的帧数；

(6)将步骤(5)中连续跟踪的最后一帧作为新的初始帧，重复步骤(4)和(5)，得到待测视频中每一帧中是否含有路牌以及路牌的坐标。

2.根据权利要求1所述的一种结合物体检测和物体跟踪的实时路牌检测方法，其特征在于，所述步骤(1)中，训练图片中路牌的坐标标注采用labelImg软件。

3.根据权利要求1所述的一种结合物体检测和物体跟踪的实时路牌检测方法，其特征在于，所述步骤(2)中，定位和分类网络均为5层网络，两者共享四层网络，分别是节点数为1024的全连接层，relu激活层，节点数为1024的全连接层和relu激活层；分类网络的第五层网络为节点数为2的全连接层，然后通过softmax操作将输出结果转化为概率的形式；定位网络的第五层为节点数为8的全连接层。

4.根据权利要求1所述的一种结合物体检测和物体跟踪的实时路牌检测方法，其特征在于，所述步骤(2)中，首先将构建好的路牌检测网络在COCO数据集上进行预训练，取预训练的网络参数结果作为路牌检测网络初始参数。

5.根据权利要求1所述的一种结合物体检测和物体跟踪的实时路牌检测方法，其特征在于，所述步骤(3)中，路牌检测网络的训练过程具体为：将步骤(2)中得到的路牌检测坐标与步骤(1)中标注的路牌坐标计算位置损失函数，同时对步骤(2)中得到的路牌置信度计算分类损失函数。将这两个损失函数相加，对总的损失函数进行求导后，通过增加了动量修正量(Momentum)的随机梯度下降法对网络中各节点的数值进行更新，得到路牌检测网络参数。

6.根据权利要求1所述的一种结合物体检测和物体跟踪的实时路牌检测方法，其特征在于，所述步骤(3)中，对训练的图像进行随机图像增广，增广操作包括：随机水平翻转、随机图片缩放、随机切割和随机旋转等。

7.根据权利要求1所述的一种结合物体检测和物体跟踪的实时路牌检测方法，其特征在于，所述步骤(5)中，在跟踪阶段，每隔固定帧对跟踪的坐标进行判断，只有当超过固定数量的连续帧中检测到同一路牌才对该路牌坐标进行跟踪，跟踪的连续帧数根据需求设定。

8.根据权利要求1所述的一种结合物体检测和物体跟踪的实时路牌检测方法，其特征在于，所述步骤(6)中，将连续跟踪的最后一帧作为新的初始帧，由步骤(4)得到新的路牌检测坐标，通过NMS算法对新的路牌检测坐标和最后一帧的路牌跟踪坐标进行整合，得到当前帧中的路牌坐标，输入到步骤(5)中的KCF算法中。