[发明专利]基于F-RCNN的远距离交通标志检测识别方法

权利要求书

1.一种基于F-RCNN的远距离交通标志检测识别方法，其特征在于：

步骤1.对交通标志图像样本集进行预处理；

步骤2.利用图像分类基准数据集对F-RCNN中的特征提取网络VGG-16进行预训练；

利用ImageNet公共图像数据集对特征提取网络VGG-16进行预训练，训练结束后的参数作为网络的初始状态；VGG-16网络包括5个卷积层和5个池化层，并采用ReLU作为激活函数；

步骤3.将交通标志训练数据集输入到预训练的特征提取网络VGG-16，对图像做卷积和池化操作，完成特征提取；

采用mini-batch的方式，将训练用的交通标志图像数据集分割成若干批；

步骤4.利用最大池化、空洞卷积、正则化和聚合操作构建融合特征图；

(1)特征提取网络VGG-16的各个卷积层的输出，从前往后依次记为conv1、conv2、conv3、conv4和conv5；对于每张具有2048×2048分辨率的交通场景，首先转化成2048×2048×3的数值矩阵后输入到VGG-16，其中图像尺寸不断减小，通道数不断增大，各卷积层输出矩阵维数依次为conv1：2048×2048×64；conv2：1024×1024×128；conv3：512×512×256；conv4：256×256×512；conv5：128×128×512；

(2)对conv5的使用空洞卷积进行膨胀，膨胀速率为3，膨胀后的尺寸为512×512×512，然后进行卷积计算，其中卷积核的参数为：尺寸3×3、步长是1、填充为1和数量为256，计算后的输出记为dilated-conv5矩阵维数是512×512×256；

(3)对conv1使用最大池化进行下采样，通道复制扩大4倍，下采样后的输出记为pooling-conv1，它的矩阵维数是512×512×256；

(4)对pooling-conv1、conv3和dilated-conv5分别进行L2正则化计算，消除尺度影响，其中L2正则化的计算过程具体如下：

其中，表示正则化后的像素，d表示像素的通道数；

(5)将pooling-conv1、conv3和dilated-conv5这三组特征矩阵在空间上直接进行聚合计算，产生同时包含分辨率和抽象语义信息的融合特征图，它的矩阵维数是512×512×256；

步骤5.F-RCNN中的区域生成网络RPN根据融合特征图进行区域生成，得到交通标志的候选区域；

(1)使用3×3的卷积核在融合特征图上滑动，对于特征图上的每个像素来说，以此为中心点，并采用1:1、1:2和2:1的尺寸比例，以及4种面积16、32、64和128，在原始输入图像上产生12个anchor框；

(2)滑动结束后，anchor框的产生数量为512×512×12；

(3)去除超过原始输入图像边界的anchor框；

(4)采用最大值抑制法，阈值为0.7，去除重复比较多的anchor框；

(5)根据anchor框与样本中真实目标的交并比IoU，确定正样本和负样本，其中IoU0.7的为正样本，IoU0.3的为负样本，去除0.3至0.7之间的anchor框，其中IoU的计算公式如下：

(6)根据平移不变性，每个anchor框对应融合特征图上的一个区域建议框；

(7)所有区域建议框经过区域生成网络RPN的全连接层后，得到目标候选区域；

步骤6.所有候选区域输入到F-RCNN中的RoI-Pooling层中，生成固定尺寸的特征向量；

(1)对于每个目标候选区域，RoI-Pooling层将其分别在水平和竖直方向分为8份，并对每一份都进行最大值池化的下采样处理；

(2)按照此种方式，候选区域大小即使不同，但采样结果一致，均产生固定尺寸8×8×256的特征向量；

步骤7.将特征向量送入用于分类和回归的极限学习机网络，输出交通标志的类别和位置；

采用的极限学习机结构：(1)用于交通标志分类的ELM：隐层4096个节点，输出44个节点，每个输出节点代表一种交通标志，其值域为(0,1)之间，分类时取最大的输出节点作为交通标志类别；(2)用于交通标志位置回归的ELM：隐层4096个节点，输出4个节点，分别代表交通标志的中心点坐标和宽高；

采用的极限学习机的学习算法具体如下：

(1)极限学习机ELM的输入输出关系表示为：

其中X＝(x₁,x₂,...,x_N)为RoI-Pooling层输出的特征向量，对于第j个特征向量的期望输出为T_j＝(t_j1,t_j2,...,t_jk)^T，ELM的实际输出O_j＝[o_j1,o_j2,...,o_jk]^T；对于分类的ELM网络，k＝44，对于回归的ELM网络，k＝4；w_i＝[w_i1,w_i2,...,w_in]^T为第i个隐层神经元和输入神经元之间的权值向量，β_i＝[β_i1,β_i2,...,β_ik]^T为第i个隐层神经元和输出神经元k间的权值向量，θ_i是第i个隐层节点的阈值，i＝1,2,…,4096，g(·)为激活函数；

(2)ELM的学习目标是使得误差函数E最小，其中E为目标和期望输出的误差平方和，表示为：

存在β_i，w_i和b_i，使得

ELM的输出矩阵H如下：

因此ELM输出表示为:

Hβ＝T

(3)根据最小二乘原理，隐层输出权值β的计算如下：

其中H为ELM隐层的输出矩阵，H^T为H的转置矩阵，I为单位矩阵，C为常数，O为ELM的实际输出矩阵；

将计算得到的输出权值代入到计算出ELM每个输出节点的值；对于用于交通标志分类的ELM，取44个输出节点中最大的输出值对应的节点编号，为交通标志的类别；对于用于交通标志检测的ELM，4个输出分别代表该标志的4个定位参数，分别为中心点坐标和宽高；

步骤8.采用贡献自适应损失函数，训练F-RCNN模型；

(1)F-RCNN模型中的区域建议网络RPN的训练目标是最小化分类和定位损失，它的损失函数形式化的描述为：

其中p_i表示第i个anchor框是目标对象的预测概率，表示目标对象的真实标签，t_i为预测框的坐标信息，包括中心坐标(x_i,y_i)、宽w_i和高h_i，为真实框的坐标信息，包括中心坐标宽和高L_RPN-CA表示RPN网络的贡献自适应分类损失，N_cls表示anchor框的总数，N_reg表示特征图的尺寸，λ为调节系数，取L_reg表示所有包围框的回归损失，它使用了L₁损失，具体定义为：

其中

其中，表示预测框相对于真实框的偏离量；

因此，RPN的贡献自适应损失函数定义为：

其中(1-p_t)³为贡献自适应损失调节系数，由于难分负样本极易错分，其分类概率p_t→0，此时的贡献自适应损失调节系数趋于1，使得该类样本对总损失的贡献不受影响；但是易分正样本分类概率p_t→1，贡献自适应损失调节系数趋于0，使得易分正样本对总损失的贡献下降到0,利用贡献自适应损失调节系数(1-p_t)³，自适应动态调节难易样本的对总损失的贡献，让F-RCNN训练更加关注难分负样本，有效提升训练效率；

(2)全连接层网络的贡献自适应损失函数定义为：

其中L_FC-CA表示多分类焦点损失，k表示第k类目标，q_k表示样本属于第k类目标的预测概率；

步骤9.启动彩色摄像机，对实际交通场景进行拍照，该场景输入模型前要进行预处理，将分辨率设置为2048×2048，然后输入到FR-CNN中，重复步骤3至步骤7，完成实际场景的交通标志检测识别。

2.根据权利要求1所述的基于F-RCNN的远距离交通标志检测识别方法，其特征在于：所述的步骤一具体为：

(1)采用清华大学和腾讯公司联合公布的Tsinghua-Tencent 100K数据集，选用44类常用交通标志作为远距离检测识别对象；

(2)将Tsinghua-Tencent 100K数据集按照1:2的比例，分割成训练集和测试集；

(3)为保证模型训练时的样本平衡，训练集合中每类交通标志的场景实例为100张以上，若某类标志的场景实例低于100张，采用重复采样的方法进行填充。