[发明专利]基于卷积神经网络的双目视觉障碍物检测系统及方法

权利要求书

1.一种基于卷积神经网络的双目视觉障碍物检测系统的检测方法，基于的检测系统由相连接的图像采集模块和障碍物检测模块组成；其中所述的图像采集模块，用于采集场景中的左图像和右图像；所述的障碍物检测模块用于对采集的图像数据进行相应的数据处理，获取最终精确的障碍物区域；其中所述图像采集模块为两个水平平行放置的型号为Pike F-100的工业摄像机，并采用IEEE-1394b接口通过采集卡将图像数据传输给计算机进行后续处理；所述障碍检测模块为配有NVIDIAGTX 1070的GPU的计算机；其特征在于，所述的检测方法包括如下步骤：

(1)从图像采集模块获取双目图像，并对双目图像进行预处理，消除图像中噪声；

(2)标定图像采集模块，获取图像采集模块内参与畸变参数，对步骤(1)获取的双目图像进行校正处理；

(3)设计孪生卷积神经网络生成精确双目图像的视差图；

(4)利用改进的V视差法对步骤(3)获取的视差图处理，从而检测图像中的障碍物区域；

其中，步骤(3)所述的设计孪生卷积神经网络生成精确双目图像的视差图的具体方法，包括：

a)设计孪生卷积神经网络结构，其左右分支参数共享，所述孪生卷积神经网络由特征提取子网络和特征分类子网络组成；其中特征提取子网络左右分支能够分别从输入的图像方块和图像长条中提取对应的特征描述；特征分类子网络将提取的左右分支特征描述作点积运算，得到视差搜索范围内待匹配像素点的相似性得分，然后作为softmax层的输入得到视差概率分布；

其中，特征提取子网络均由卷积层构成，卷积层中的卷积核采用间隔传递信息的方式，同时各层使用BatchNormalization技术和PRELU激活函数，最后一层卷积层不使用激活函数；

b)样本裁剪；根据KITTI数据集中真实视差数据，在左图像中选取具有真实视差的像素点p(x_i,y_i)，提取以该像素点为中心的图像块；在右图像中选取像素点q，使其坐标为(x_i,y_i)，并以q为中心选择图像块；根据视差搜索范围，在右图像中选择以q为中心的图像方块右边界左侧图像长条，以此方法完成样本裁剪；

c)标准化样本数据，构建训练集；将步骤b)裁剪的图像块灰度值变换到[-1,1]范围内，以此作为网络的输入；

d)训练孪生卷积神经网络；采用自适应矩估计的随机梯度下降算法(Adam)来训练由步骤a)设计的孪生卷积神经网络；

e)视差图计算；取双目图像对，采用步骤c)对其标准化，运用由步骤d)训练好的网络模型提取左右图像中像素点特征描述，分别记作S_L(p)和S_R(q)；将S_L(p)和S_R(q)作点积运算得到图像对相似性得分，取相反数作为匹配代价：

C_CNN(p,d)＝-s(＜S_L(p),S_R(q)＞)

其中，s(＜S_L(p),S_R(q)＞)表示图像对相似性得分；最后，在视差搜索范围内，选择匹配代价最小的点作为匹配点进行视差选择，进而生成视差图；

步骤(4)所述的利用改进V视差法对步骤(3)获取的视差图处理，从而检测图像中的障碍物区域的具体方法，包括：

f)采用Prewitt算子计算视差图列方向的梯度，并保留梯度为负值位置的视差，滤除障碍物像素点，生成滤波后的视差图；

g)对由步骤f)生成的滤波后视差图统计每一行像素相同灰度值个数生成V视差图I₁；

h)搜索V视差图I₁中的每一行最大值并保留，其余的像素点灰度值置0，生成最大值V视差图I₂；

i)设定阈值T，将I₂中大于T的像素灰度值置1，其余置0，生成仅包含道路信息的V视差二值图I₃，阈值T的计算公式为：

式中，x_i为I₂中各像素值；N为I₂中像素总个数；1{x_i≠0}表示x_i不等于0时取1，否则取0；

j)运用hough直线检测方法提取I₃中道路直线；

k)利用直线两点方程计算步骤j)提取的道路直线在V视差图中图像坐标系的斜率k和截距b；

l)按照光栅扫描法，从下往上从左往右逐点扫描视差图D(x,y,d)，对每个像素点计算f＝kd+b，其中d为视差值，f为视差图像素点投影在V视差图的纵轴坐标；

m)当(f-y)＞T₁，则视差图中像素点投影在V视差图中路面直线上方，即高于路面，则判定该像素点为障碍点；

n)重复步骤l)、m)，直至完全扫描 视差图，得到图像中障碍物区域。