[发明专利]基于F-RCNN的远距离交通标志检测识别方法

摘要

本发明涉及的是基于F‑RCNN的远距离交通标志检测识别方法，它包括：一.对交通标志图像样本集进行预处理；二.对F‑RCNN中的VGG‑16进行预训练；三.将交通标志训练数据集输入到VGG‑16，完成特征提取；四.构建融合特征图；五.F‑RCNN中的区域生成网络RPN根据融合特征图进行区域生成，得到交通标志的候选区域；六.所有候选区域输入到F‑RCNN中的RoI‑Pooling层，生成固定尺寸的特征向量；七.将特征向量送入极限学习机网络，输出交通标志的类别和位置；八.采用贡献自适应损失函数，训练F‑RCNN模型；九.完成实际场景的交通标志检测识别。本发明实现了远距离交通标志检测识别，识别精度高。

主权项

1.一种基于F‑RCNN的远距离交通标志检测识别方法，其特征在于：步骤1.对交通标志图像样本集进行预处理；步骤2.利用图像分类基准数据集对F‑RCNN中的特征提取网络VGG‑16进行预训练；利用ImageNet公共图像数据集对特征提取网络VGG‑16进行预训练，训练结束后的参数作为网络的初始状态；VGG‑16网络包括5个卷积层、5个池化层，并采用ReLU作为激活函数；步骤3.将交通标志训练数据集输入到预训练的特征提取网络VGG‑16，对图像做卷积、池化操作，完成特征提取；采用mini‑batch的方式，将训练用的交通标志图像数据集分割成若干批；步骤4.利用最大池化、空洞卷积、正则化、聚合操作构建融合特征图；(1)特征提取网络VGG‑16的各个卷积层的输出，从前往后依次记为conv1、conv2、conv3、conv4和conv5；对于每张具有2048×2048分辨率的交通场景，首先转化成2048×2048×3的数值矩阵后输入到VGG‑16，其中图像尺寸不断减小，通道数不断增大，各卷积层输出矩阵维数依次为conv1：2048×2048×64；conv2：1024×1024×128；conv3：512×512×256；conv4：256×256×512；conv5：128×128×512；(2)对conv5的使用空洞卷积进行膨胀，膨胀速率为3，膨胀后的尺寸为512×512×512，然后进行卷积计算，其中卷积核的参数为：尺寸3×3、步长是1、填充为1、数量为256，计算后的输出记为dilated‑conv5矩阵维数是512×512×256；(3)对conv1使用最大池化进行下采样，通道复制扩大4倍，下采样后的输出记为pooling‑conv1，它的矩阵维数是512×512×256；(4)对pooling‑conv1、conv3、dilated‑conv5分别进行L2正则化计算，消除尺度影响，其中L2正则化的计算过程具体如下：其中表示正则化后的像素，d表示像素的通道数；(5)将pooling‑conv1、conv3和dilated‑conv5这三组特征矩阵在空间上直接进行聚合计算，产生同时包含分辨率和抽象语义信息的融合特征图，它的矩阵维数是512×512×256；步骤5.F‑RCNN中的区域生成网络RPN根据融合特征图进行区域生成，得到交通标志的候选区域；(1)使用3×3的卷积核在融合特征图上滑动，对于特征图上的每个像素来说，以此为中心点，并采用1:1、1:2、2:1的尺寸比例，和4种面积16、32、64、128，在原始输入图像上产生12个anchor框；(2)滑动结束后，anchor框的产生数量为512×512×12；(3)去除超过原始输入图像边界的anchor框；(4)采用最大值抑制法，阈值为0.7，去除重复比较多的anchor框；(5)根据anchor框与样本中真实目标的交并比IoU，确定正样本和负样本，其中IoU>0.7的为正样本，IoU<0.3的为负样本，去除0.3至0.7之间的anchor框，其中IoU的计算公式如下：(6)根据平移不变性，每个anchor框对应融合特征图上的一个区域建议框；(7)所有区域建议框经过区域生成网络RPN的全连接层后，得到目标候选区域；步骤6.所有候选区域输入到F‑RCNN中的RoI‑Pooling层中，生成固定尺寸的特征向量；(1)对于每个目标候选区域，RoI‑Pooling层将其分别在水平、竖直方向分为8份，并对每一份都进行最大值池化的下采样处理；(2)按照此种方式，候选区域大小即使不同，但采样结果一致，均产生固定尺寸8×8×256的特征向量；步骤7.将特征向量送入用于分类和回归的极限学习机网络，输出交通标志的类别和位置；采用的极限学习机结构：(1)用于交通标志分类的ELM：隐层4096个节点，输出44个节点，每个输出节点代表一种交通标志，其值域为(0,1)之间，分类时取最大的输出节点作为交通标志类别；(2)用于交通标志位置回归的ELM：隐层4096个节点，输出4个节点，分别代表交通标志的中心点坐标和宽高；采用的极限学习机的学习算法具体如下：(1)极限学习机ELM的输入输出关系表示为：其中X＝(x₁,x₂,...,x_N)为RoI‑Pooling层输出的特征向量，对于第j个特征向量的期望输出为T_j＝(t_j1,t_j2,...,t_jk)^T，ELM的实际输出O_j＝[o_j1,o_j2,...,o_jk]^T；对于分类的ELM网络，k＝44，对于回归的ELM网络，k＝4；w_i＝[w_i1,w_i2,...,w_in]^T为第i个隐层神经元和输入神经元之间的权值向量，β_i＝[β_i1,β_i2,...,β_ik]^T为第i个隐层神经元和输出神经元k间的权值向量，θ_i是第i个隐层节点的阈值，i＝1,2,…,4096，g(·)为激活函数；(2)ELM的学习目标是使得误差函数E最小，其中E为目标和期望输出的误差平方和，表示为：存在β_i，w_i和b_i，使得ELM的输出矩阵H如下：因此ELM输出表示为:Hβ＝T(3)根据最小二乘原理，隐层输出权值β的计算如下：其中H为ELM隐层的输出矩阵，H^T为H的转置矩阵，I为单位矩阵，C为常数，O为ELM的实际输出矩阵。将计算得到的输出权值代入到计算出ELM每个输出节点的值；对于用于交通标志分类的ELM，取44个输出节点中最大的输出值对应的节点编号，为交通标志的类别；对于用于交通标志检测的ELM，4个输出分别代表该标志的4个定位参数，分别为中心点坐标和宽高；步骤8.采用贡献自适应损失函数，训练F‑RCNN模型；(1)F‑RCNN模型中的区域建议网络RPN的训练目标是最小化分类和定位损失，它的损失函数形式化的描述为：其中p_i表示第i个anchor框是目标对象的预测概率，表示目标对象的真实标签，t_i为预测框的坐标信息，包括中心坐标(x_i,y_i)、宽w_i和高h_i，为真实框的坐标信息，包括中心坐标宽和高L_RPN‑CA表示RPN网络的贡献自适应分类损失，N_cls表示anchor框的总数，N_reg表示特征图的尺寸，λ为调节系数，取L_reg表示所有包围框的回归损失，它使用了L₁损失，具体定义为：其中因此，RPN的贡献自适应损失函数定义为：其中(1‑p_t)³为贡献自适应损失调节系数，由于难分负样本极易错分，其分类概率p_t→0，此时的贡献自适应损失调节系数趋于1，使得该类样本对总损失的贡献不受影响；但是易分正样本分类概率p_t→1，贡献自适应损失调节系数趋于0，使得易分正样本对总损失的贡献下降到0,利用贡献自适应损失调节系数(1‑p_t)³，自适应动态调节难易样本的对总损失的贡献，让F‑RCNN训练更加关注难分负样本，有效提升训练效率；(2)全连接层网络的贡献自适应损失函数定义为：其中L_FC‑CA表示多分类焦点损失，k表示第k类目标，q_k表示样本属于第k类目标的预测概率；步骤9.启动彩色摄像机，对实际交通场景进行拍照，该场景输入模型前要进行预处理，将分辨率设置为2048×2048，然后输入到FR‑CNN中，重复步骤3至步骤7，完成实际场景的交通标志检测识别。