[发明专利]基于卷积神经网络的双目视觉障碍物检测系统及方法

说明书

本发明公开一种基于卷积神经网络的双目视觉障碍物检测系统及方法。所述系统由图像采集模块和障碍物检测模块两个部分组成，图像采集模块采集双目图像，传输给障碍物检测模块对采集的图像数据进行相应的数据处理，获得精确的障碍物区域。所述检测方法：首先将采集的原始图像作中值滤波处理；再根据摄像机参数对双目图像进行校正；设计一种新的卷积核应用于卷积神经网络结构，用于生成精确视差图；最后，利用改进的V视差法检测图像中精确障碍物区域。本发明具有对复杂光线和较小障碍物等条件下良好的障碍物检测精度，以及表现出的良好的鲁棒性。

技术领域

本发明涉及双目视觉图像处理技术领域，尤其涉及一种基于卷积神经网络的双目视觉障碍物检测系统及其检测方法。

背景技术

随着计算机技术的进步，智能车得到了快速的发展，广泛的应用于国防、科研和日常生活等领域中。其中，障碍物检测是智能车导航中的核心问题。

卷积神经网络是一种前馈网络，其人工神经元可以响应覆盖范围内的单元，包括了卷积层和池化层，对图像处理有着出色的表现。近年来受到人们越来越多的关注，且应用领域也越来越广泛。

目前，基于双目视觉的障碍检测方法逐渐成为研究的热点问题，通过双目匹配寻找双目图像中的同一场景，生成改空间场景的视差关系图，在运用特定的检测方法对视差图进行处理得到对应的障碍检测区域。

然而，当场景出现复杂的光线以及较小的障碍物等情况时，现有的方法很难做到精确的障碍物区域检测和维持系统的鲁棒性。因此，对于智能车的复杂环境而言，如何精确的检测障碍物区域以及维持系统的鲁棒性成为了一个亟待解决的问题。

发明内容

针对上述问题，本发明的目的是提供一种基于卷积神经网络的双目视觉障碍物检测系统及其检测方法，以解决传统双目视觉障碍物检测方法在障碍物检测精度以及系统鲁棒性等方面的不足。

为实现上述目的，本发明采取以下技术方案：

一种基于卷积神经网络的双目视觉障碍物检测系统，由相连接的图像采集模块和障碍物检测模块组成。其中所述的图像采集模块用于采集场景中的左图像和右图像，其中左右图像均为光学图像。所述的障碍物检测模块用于对采集的图像数据进行相应的数据处理，获取最终精确的障碍物区域。

进一步，上述所述图像采集模块为两个水平平行放置的型号为Pike F-100的工业摄像机，并用IEEE-1394b接口通过采集卡将图像数据传输给计算机进行后续处理。

进一步，上述所述障碍检测模块为配有NVIDIAGTX 1070的GPU的计算机。

为了实现上述的目的，本发明采用如下另一技术方案予以实现。

一种基于卷积神经网络的双目视觉障碍物检测系统的检测方法，其步骤为：

(1)从图像采集模块获取双目图像，并对双目图像进行预处理，消除图像中噪声；

(2)标定图像采集模块，获取图像采集模块内参与畸变参数，对双目图像进行校正处理；

(3)设计孪生卷积神经网络生成精确的双目图像的视差图；

(4)利用改进的V视差法对视差图处理从而检测图像中的障碍物区域。

上述步骤(3)所述的设计孪生卷积神经网络生成精确的双目图像视差图的具体方法，包括：

a)设计孪生卷积神经网络结构，其左右分支参数共享。该孪生卷积神经网络由特征提取子网络和特征分类子网络组成。特征提取子网络左右分支能够分别从输入的图像方块和图像长条中提取对应的特征描述；特征分类子网络将提取的左右分支特征描述作点积运算，得到视差搜索范围内待匹配像素点的相似性得分，然后作为softmax层的输入得到视差概率分布。