[发明专利]一种基于外观和几何信息融合的单目视觉道路识别方法

权利要求书

1.一种基于外观和几何信息融合的单目视觉道路识别方法，其特征在于：

1)由安装在汽车上的照像机实时拍摄采集汽车前方道路场景的图像，实时采集到图像序列；

2)获取图像的外观信息；

所述步骤2)中，获取图像的外观信息具体为：采用以下公式利用混合高斯模型分别对原始图像和光照不变图像中道路的外观信息进行建模，建立外观模型，以概率分布作为外观信息；

其中，p(I_j)和p(L_j)分别表示原始图像I和光照不变图像L中像素点j为道路区域的概率分布，表示以μ_I，i为平均值的第i个高斯分布，表示以μ_L，i为平均值的第i个高斯分布，μ_I，i表示原始图像I中第i个高斯分布的平均值，μ_L，i表示光照不变图像L中第i个高斯分布的平均值，∑_I，i为原始图像I中第i个高斯分布的方差，∑_L，i为光照不变图像L中第i个高斯分布的方差，K为混合高斯分布中高斯分布的总数，φ_I，i表示原始图像I中第i个高斯分布的权重系数，φ_L，i表示光照不变图像L中第i个高斯分布的权重系数，i表示高斯分布的序数；

3)获取图像的几何信息；

所述步骤3)中，获取图像的几何信息是利用两视图几何模型对原始图像进行识别，获得高度信息作为几何信息，具体为：

3.1)利用光流法对相邻帧的道路场景图像进行处理，获得相邻帧之间图像像素点的运动情况，获得图像中每一像素点的光流信息：

通过第k帧的图像I_k、几何信息和从第k帧到第k+1帧的相对运动变化估计第k+1帧图像的光流场按照相同方式也得到第k帧图像的光流场接着利用原始图像I、第k帧图像的光流场和两视图几何模型估计第k+1帧图像的光流场估计值使用第k+1帧的图像I_k+1和第k+1帧的光流场计算第k+1帧图像的增量光流场δF_k+1，将光流场估计值与增量光流场δF_k+1相加获得第k+1帧图像的实际光流场F_k+1；

3.2)利用第k+1帧图像的实际光流场F_k+1采用以下公式计算获得第k+1帧图像的视差信息β_k+1：

其中，g_kl为投影单应性矩阵G的第k行第l列，其中k,l＝1,2,3表示矩阵行和列的序号；α_u、α_v、cotθ、sinθ、u₀和v₀分别是来自于相机内参矩阵α_u和α_v表示相机焦距在沿图像横纵坐标u和v两个方向上以像素为单位的值，θ表示相机中CCD阵列横纵坐标的倾斜参数，u₀和v₀表示相机光轴和成像平面之间的交点的坐标沿两个坐标方向的分量，d为相机到地面的高度；x_fx、x_fy和x_fz为两帧之间相机的平移量分别平行于x、y、z坐标轴的三个分量；和分别是第k帧图像和第k+1帧图像中光流信息对应的像素点的坐标；β_k+1表示第k+1帧图像的视差信息；

3.3)按照前面步骤相同方式获得第k帧图像的视差信息β_k，从第k帧图像的视差信息β_k提取第k帧图像的像素点的高度信息D_i：

4)利用外观信息和几何信息进行道路预分割处理；

步骤4)中，针对图像的每一个图像列，对其中的像素点利用外观信息进行聚类，获得聚类点，道路边缘出现在聚类点的位置，具体为：

4.1)构建以下目标函数：

E(Ω(t))＝α_l·E_l+α_t·E_t+α_s·E_s

其中，E_l表示外观相似度，E_t表示时间序列平滑度，E_s表示几何平滑度；α_l、α_t、α_s分别为第一、第二、第三权重系数；Ω(t)表示在t时刻拍到的图像中是道路区域的像素点的集合；

4.1.a)所述的外观相似度E_l中主要由图像外观概率相似度、几何结构相似度和图像梯度相似度构成，具体如下：

所述的图像外观概率相似度计算为：

φ_a(Ω_i)＝-logp(I_i|Ω_i)

其中，φ_a(Ω_i)表示外观概率相似度，Ω_i表示在Ω的第i列，Ω表示道路区域的像素点的集合，p(I_i|Ω_i)表示在Ω_i已知情况下图像的第i列I_i的概率分布；

其中，p(I(i，j)|Ω_i)表示在Ω_i已知情况下像素点I(i,j)的概率分布，p(I(i，j))表示原始图像I中坐标为(i，j)的像素点为道路的概率值，C_CΩ_i表示为图像中第i列非道路区域的像素点的集合，I(i,j)表示原始图像I中坐标为(i，j)的像素点；

所述的几何结构相似度计算为：

其中，φ_g表示了第i列视差信息的熵，计算第k+1帧图像I_k+1和第k帧图像I_k的视差图，根据视差图的第i列的值将其中的最大值和最小值之差等分分为l个区间，p_l表示视差信息落在第l个区间中的概率；

所述的图像梯度相似度计算为：

其中，w_min，i表示Ω中第i列Ω_i中行数最小值；w_max，i表示Ω中第i列Ω_i中行数最大值；倒三角符号表示求取梯度；

4.1.b)所述的时间序列平滑度E_t计算如下：

其中，表示当前道路图像R_k与利用上一帧道路检测结果估计的道路图像之间的互相关因子，是根据之前帧的道路几何模型和车辆的运动估计的第k帧的道路区域；r_i和分别表示当前道路图像R_k中的第i个像素点的像素值与利用上一帧道路检测结果估计的道路图像中的第i个像素点的像素值；和表示当前道路图像R_k中的所有像素点的平均像素值与利用上一帧道路检测结果估计的道路图像中的所有像素点的平均像素值；m和n表示整幅图像的列数和行数；δ_i表示像素点存在参数，是否存在，如果存在则δ_i＝1，反之则δ_i＝0；

4.1.c)所述的几何平滑度E_s计算如下：

其中m表示整幅图像的列数，n表示整幅图像的行数；

4.2)对原始图像和光照不变图像的每一列的像素点进行聚类，获得聚类点，聚类点作为道路边缘的位置；

4.3)获得道路区域和非道路区域的检测结果，以图像中道路区域和非道路区域的边界作为道路边缘；

5)最后进行道路边缘优化。

2.根据权利要求1所述的一种基于外观和几何信息融合的单目视觉道路识别方法，其特征在于：所述步骤5)，具体为：

5.1)首先，利用相机的内部和外部参数，将原始图像进行反透视变换得到鸟瞰图；

5.2)用样条曲线对道路边缘进行参数化构建；

5.3)将参数化构建获得的样条曲线描述为以下目标函数：

E＝E_m+α_eE_e+α_pE_p+α_gE_g

其中，α_e、α_p、α_g分别为第四、第五、第六权重系数，E_m为描述道路边缘平滑程度的项，E_p用来描述道路两侧边缘的平行程度，E_e用来描述道路边缘两侧的图像外观变化程度，E_g用来描述道路边缘两侧几何信息的变化程度，分别定义如下：

其中，表示位于右边缘的道路的像素点z_k的导数，表示位于左边缘的道路的像素点z_k的导数，表示位于左或右边缘道路的像素点z_k的导数，z_k表示Z轴上的第k个像素点，Z表示坐标系的z轴，Ω(z_k)表示在位于边缘道路的像素点z_k周围相邻区域，N_Ω表示周围相邻像素点Ω(z_k)的数量，p_i表示像素点z_k周围相邻像素点，d_i表示像素点z_k与周围相邻像素点p_i的距离；ξ表示第一小量参数，是大于0的小量避免奇异性，E_I()表示在俯瞰图中提取的图像边缘；E_gg()表示在俯瞰图中几何信息的边缘，γ(z_k)表示距离阈值函数，γ(z_k)＝max(1,1/(z_k/D)²+ε)，用于忽略在离车辆较远区域的几何信息，D为区域参数，为常数，ε表示第二小量参数，为大于0的小量避免奇异性；

5.4)以目标函数最小为优化目标进行求解，得到样条曲线的最优参数，所形成的样条曲线作为最终道路边缘，完成道路识别。