[发明专利]基于级联网络的交通标志检测与识别方法

权利要求书

1.基于级联网络的交通标志检测与识别方法，其特征在于，包括如下步骤：

S1：采集原始图像；

S2：对原始图像进行检测，得到可能包含交通标志或交通灯的候选区域；所述检测过程为采用训练后的三阶级联网络进行检测，三阶级联网络分别为12-net，24-net，48-net；

S3：对候选区域进行识别，消去不包含交通标志或交通灯的候选区域，得到交通标志和交通灯的具体类别。

2.根据权利要求1所述的基于级联网络的交通标志检测与识别方法，其特征在于，所述S2中，对三阶级联网络进行训练的过程为：

S21：在训练12-net时，在原始图像中目标物体窗口附近随机生成大小为12x12的窗口，所述目标物体为交通标志或交通灯，然后将12x12的窗口与目标物体窗口计算IOU，IOU大于上限阈值的窗口作为正样本，下限阈值到中间阈值之间的是部分正样本，小于下限阈值的是负样本；正样本和负样本在网络中用于是否为目标物体的分类,正样本代表是为目标物体，负样本代表不是目标物体；部分正样本和负样本用于边界框回归；

S22：在训练24-net时，在原始图像中目标物体窗口附近随机生成24x24大小的窗口，所述目标物体为交通标志或交通灯，然后将24x24的窗口与目标物体窗口计算IOU，IOU大于上限阈值的窗口作为正样本，下限阈值到中间阈值之间的是部分正样本，小于下限阈值的是负样本；正样本和负样本在网络中用于是否为目标物体的分类，正样本代表是为目标物体，负样本代表不是目标物体，目标物体为交通标志和交通灯；部分正样本和负样本用于边界框回归；

S23：在训练48-net时，在原始图像中目标物体窗口附近随机生成48x48大小的窗口，所述目标物体为交通标志或交通灯，然后将48x48的窗口与目标物体窗口计算IOU，IOU大于上限阈值的窗口作为正样本，下限阈值到中间阈值之间的是部分正样本，小于下限阈值的是负样本；正样本和负样本在网络中用于是否为目标物体的分类，目标物体为交通标志和交通灯，正样本代表是为目标物体，负样本代表不是目标物体；部分正样本和负样本用于边界框回归。

3.根据权利要求1或2所述的基于级联网络的交通标志检测与识别方法，其特征在于，所述S2的检测具体步骤为：

S23：将待识别图片缩放成不同尺寸的图片，建立一个图像金字塔；

S24：将图像金字塔输入到12-net网络中，得到一系列可能为交通标志的候选窗口，通过非极大值抑制合并重合度大于0.7的窗口；

S25：将经过S25后剩下的候选窗后输入到相对复杂的24-net中，舍弃一些不包含交通标志的候选窗口，再通过非极大值抑制处理，合并重合度大于0.7的窗口；

S26:再将经过S26后剩下的候选窗口输入到最复杂的48-net中，舍去大量不包含交通标志和交通灯的窗口，得到最终可能为交通标志或交通灯的候选窗口，同样通过非极大值抑制处理，合并重合度大于0.7的窗口。

4.根据权利要求1所述的基于级联网络的交通标志检测与识别方法，其特征在于，所述三阶级联网络使用的损失函数为：

L_i＝-(y_ilog(p_i)+(1-y_i)(1-log(p_i))

其中，p_i为经过检测网络得到的是是否为交通标志或交通灯的概率，y_i为真实标签；

其中l′_i,t′_i,h′_i,w′_i分别为真实的bounding box的最左边坐标，最上边坐标，长，宽；l_i,t_i,h_i,w_i分别为经过检测网络得到的bounding box的最左边坐标，最上边坐标，长，宽。

5.根据权利要求3所述的基于级联网络的交通标志检测与识别方法，其特征在于，所述S3的具体步骤为：

S31：通过S26得到的候选窗口分为包含目标物体的候选窗后和不包含目标物体的候选窗后两部分，目标物体为交通标志和交通灯；

S32：将不包含目标的候选窗口作为一个类别，命名为‘other’类，然后将‘other’类与交通标志和交通灯的类别样本，放入识别网络中训练；识别网络是一个包含两个denseblock的神经网络，dense block是一种新的卷积网络连接方式，表现为每一层的输入来自于前面所有层的输出；在测试时，如果候选窗口经过识别网络得到的结果为‘other’类，则表明该窗口内不包含交通标志和交通灯，舍去该窗口；否则表明该窗口内为交通标志或交通灯，输出得到具体的交通标志或交通灯的类别。