[发明专利]下坡路上交通信号灯识别方法、系统及计算机可读介质

权利要求书

1.下坡路上交通信号灯识别方法，其特征在于，包括以下步骤：

S10、根据坡度传感器反馈的道路坡度信息调整相机朝向角的转动角度；

S10包括以下步骤：

S11、首先采用有限脉冲响应滤波器对电压信号进行低通滤波信号处理，坡度传感器根据当前状态行驶时输出的电压值X_out以及水平路况状态行驶时输出的电压值X_ref，通过α＝arcsin[(X_out-X_ref)/0.8]计算得出当前状态行驶时的道路坡度角α；

S12、微型处理器接收坡度传感器传递的当前状态行驶时的道路坡度角α，根据β＝1.2α计算相机角度调节装置应该旋转的角度β，并将应该旋转的角度β值转换为相应的PWM信号值；

S13、相机角度调节装置由舵机和相机固定装置组成，相机固定装置中固定设置相机，舵机接收微型处理器传递的PWM信号值，根据PWM信号值的脉宽时长调节舵机的转动角度，进而带动对相机朝向角的转动角度的调整；

S20、经调整朝向角转向角度后的相机拍摄车辆前方，形成图像，将拍摄的图像传递给检测器，检测器通过分类器检测具有交通信号灯的图像，并进一步检测交通信号灯在图像中的区域；

S20中，检测器通过分类器检测具有交通信号灯的图像，并进一步检测交通信号灯在图像中的区域，具体为：采用基于类Haar特征的AdaBoost分类器，检测具有交通信号灯的图像，并进一步检测交通信号灯在图像中的区域，包括两个过程：训练过程和识别过程；

训练过程一方面从大量类Haar特征中选取对分类识别起关键作用的类Haar特征，另一方面训练出准确识别出交通信号灯区域和非交通信号灯区域的AdaBoost分类器，为识别过程做准备；

识别过程使用训练过程提取的关键类Haar特征以及训练好的AdaBoost分类器来对相机传送过来的图像进行识别，识别得到具有交通信号灯的图像，以及交通信号灯在图像中的区域：

其中，所述识别过程具体为：对相机传来的图像中是否存在具有交通信号灯的区域进行分类识别：包括图像预处理；计算积分图；利用训练过程所选择的类Haar特征信息计算相应的类Haar特征特征值，构成特征向量；使用训练过程训练好的AdaBoost分类器，利用所得到的特征向量，对相机传来的图像中是否存在具有交通信号灯的区域进行检测，输出最终的分类识别结果；

训练过程包括四个训练子过程：图像预处理；计算积分图；提取类Haar特征；训练AdaBoost分类器；其中，

图像预处理：将拍摄的图像分为两部分：一部分为具有交通信号灯的图像，作为交通信号灯训练样本；另一部分为不具有交通信号灯的图像，作为非交通信号灯训练样本；将所有的交通信号灯训练样本和非交通信号灯训练样本均归一化为128×128的灰度图，作为归一化后的交通信号灯训练样本和归一化后的非交通信号灯训练样本；

计算积分图：分别计算每个归一化后的交通信号灯训练样本和归一化后的非交通信号灯训练样本的正向积分图和斜向积分图；

提取类Haar特征：扩展的类Haar特征共分为4大类共15种特征，将每个类Haar特征的大小设置为2×1，根据计算的每个归一化后的交通信号灯训练样本和归一化后的非交通信号灯训练样本的正向积分图和斜向积分图，计算并提取每个归一化后的交通信号灯训练样本和归一化后的非交通信号灯训练样本图像的15种不同尺寸的类Haar特征，用于描述交通信号灯的边缘及结构特征；

训练AdaBoost分类器，包括构建弱分类器、构建强分类器、构建级联分类器：

构建弱分类器：选择15种类Haar特征中的一类Haar特征作为输入，通过训练获得这一类Haar特征的弱分类器h_j(x)，每个弱分类器h_j(x)都由所选择的类Haar特征值和一个阈值构成，其形式如下式所示：

式中，x表示样本，f_j(x)表示第j个类Haar特征在样本x上所对应的特征值，p_j决定不等式的正负，θ_j表示分类器h_j(x)中的类Haar特征值对应的阈值；

构建强分类器：经多次弱分类器训练，每次训练中不断增加被错误分类的样本的权重，继续训练，从每次训练中挑选出最优弱分类器，线性组合成分类能力更好的强分类器；

构建级联分类器：采取cascade级联的方法，每一级强分类器将负样本分出去，剩余的样本进入下一级强分类器，通过最后一个强分类器的预测得到正样本；基于构建的级联分类器，训练样本集，从而获得对分类识别起关键作用的特征以及最终的分类器；

构建强分类器的具体训练过程为：

选定一个样本数目为n的训练集，共有a个交通信号灯训练样本，b个非交通信号灯训练样本，n＝a+b，样本集为(x₁,y₁),(x₂,y₂),...,(x_n,y_n)，x_i为第i个样本，y_i用来说明x_i是交通信号灯训练样本还是非交通信号灯训练样本，当y_i＝0时，则x_i是非交通信号灯训练样本；当y_i＝1时，则x_i是交通信号灯训练样本；

初始化样本权重：所有交通信号灯训练样本的权重为1/2a，所有非交通信号灯训练样本的权重为1/2b；

对于训练次数t＝1,…,T时，训练得到最优弱分类器的过程为：

步骤a1、将本轮所有样本的权重归一化：

式中，W_t,i表示第t次训练中第i个样本归一化后的权重，w_t,i表示第t次训练中第i个样本的权重，w_t,j表示第t次训练中第j个样本的权重，j表示第j个样本，n表示样本总数；

步骤a2、根据每个类Haar特征j训练弱分类器h_j，对样本集中样本是否属于交通信号灯训练样本进行分类，并计算样本集分类的误差：

式中，ε_j表示样本集分类的误差，h_j(x_i)为弱分类器h_j对样本x_i分类的结果；

步骤a3、从每次训练中挑选出最优弱分类器；更新权重：如果样本被分类正确，则ε_t表示第t次训练的错误率，如果样本被错误分类，W_t+1,i＝W_t,i；线性组合T个最优弱分类器成强分类器，强分类器的公式如下式所示：

式中，a_t表示第t次训练出的弱分类器权重，h_t(x)表示第t次训练时选出的最优弱分类器，

将S20确定出具有交通信号灯的图像输入到预先训练好的进行单目深度估计的神经网络中的步骤，通过输出图像中每个像素所对应的深度，结合S20检测器输出的交通信号灯在图像中的区域，通过对区域内所有像素深度求平均的方法得出当前时刻车辆位置下交通信号灯的深度信息l，再结合S10得到的道路坡度角α，根据s＝l/cosα，得到当前时刻车辆行驶到交通信号灯位置的路程s；

S30、检测器将识别出的存在交通信号灯区域的图像传递给识别器，识别器对区域中的交通信号灯的状态进行识别，输出当前交通信号灯的状态；

识别器对区域中的交通信号灯的状态进行识别，具体为：

由分类器来识别存在交通信号灯区域的图像的状态，分类器采用定向梯度直方图HOG和灯泡HSV颜色直方图两个特征，并用支持向量机对定向梯度直方图HOG和灯泡HSV颜色直方图两个特征进行集成和训练；

在训练过程中，首先通过网格搜索的方法确定最优的径向基核函数的参数γ以及惩罚因子C，然后通过训练集的学习，寻找到支持向量集，初步确定拉格朗日乘子a_i和偏移系数b，再利用测试集对得到的支持向量机模型相关参数进行调整优化，最终确定支持向量机模型最优分类面的决策函数的参数；

当支持向量机模型训练完成后，将检测器传递来的每一张图像带入到每个支持向量机模型的决策函数中，最终通过投票法从支持向量机模型的结果中决定出图像的分类类别，从而确定出交通信号灯的状态；

用支持向量机对定向梯度直方图HOG和灯泡HSV颜色直方图两个特征进行集成和训练，具体包括以下步骤：

步骤b1：将样本图像归一化为48×48像素大小，选择归一化的样本图像的定向梯度直方图HOG和灯泡HSV颜色直方图作为归一化的样本图像的特征值，构成特征值矢量x＝(p₁,p₂)，x表示特征值矢量，p₁表示定向梯度直方图特征值，p₂表示灯泡HSV颜色直方图特征值，将特征值矢量x＝(p₁,p₂)作为输入，将交通信号灯的状态y作为输出，构成交通信号灯状态样本集；

其中，在图像的定向梯度直方图的提取中，选取大小为6×6像素的细胞单元，每个细胞单元是9个bin，取矩形的区间Block为2×2，将图像的定向梯度直方图提取出来后运用主成分分析法对数据进行降维得到最终值；

其中，交通信号灯的状态共有三种：红灯、绿灯、黄灯，分别对应y＝1，y＝2，y＝3，将交通信号灯的状态y所对应的3种样本中各抽出4/5作为训练集，其余1/5作为测试集；

步骤b2：确定支持向量机SVM的数目：共构造3个分类器，分别为：红-绿支持向量机，样本集取自红灯亮和绿灯亮的样本集，取自红灯亮的样本，则y＝1；取自绿灯亮的样本，则y＝-1；红-黄支持向量机，样本集取自红灯亮和黄灯亮的样本集，取自红灯亮的样本，则y＝1；取自黄灯亮的样本，则y＝-1；绿-黄支持向量机，样本集取自绿灯亮和黄灯亮的样本集，取自绿灯亮的样本，则y＝1；取自黄灯亮的样本，则y＝-1，对这三个支持向量机分别进行训练；

步骤b3：支持向量机的训练：通过训练集确定样本集最优分类面的决策函数的相关参数的初始值；其中，相关参数包括最优核函数参数和惩罚因子；最优核函数参数采用网格搜索的方法进行确定；选用径向基核函数K(x_i,x)＝exp(-γ||x_i-x||²)作为最优核函数来实现支持向量机从原来空间到特征空间的映射，式中γ为核参数，并引用了松弛因子ξ_i和惩罚因子C，将求解最优分类面的问题等价于求解如下式所示的凸二次规划问题：

式中，R(w)表示目标函数，w为最优分类面的法向量，C表示惩罚因子，ξ_i表示松弛因子，b为偏移系数，N为样本的数量，x_i为样本特征矢量，y_i为样本对应的交通信号灯状态；

应用拉格朗日乘子法并考虑满足Karush-Kuhn-Tucker条件，求得最优分类面的决策函数为：

式中，f(x)表示最优分类面的决策函数，Sgn为符号函数，a_i为每个样本对应的拉格朗日乘子，x为目标特征向量，SV表示支持向量。