[发明专利]一种预测自由空间语义边界的方法

说明书

本发明公开了一种预测自由空间语义边界的方法，涉及一个多级卷积神经网络结构，可以产生高分辨率的2D置信图并预测出不同类别的自由空间语义边界。多级卷积神经网络可以隐式地学习出图像的空间上下文特征与自由空间边界结构。对于该网络输出的置信图，利用动态规划算法推理出具有局部平滑性与语义连续性的自由空间边界。本发明基于交通场景图像中包含的上下文特征，提出了一种多级卷积神经网络以产生包含边界预测结果且具有高分辨率的置信图，并利用引导性策略以提升深度网络的性能。其次，对于产生的置信图，分别在边界规划与语义规划两个方面进行建模，并利用动态规划算法最终得到自由行驶空间下的语义边界检测结果。

【技术领域】

本发明属于计算机视觉技术领域，涉及一种预测自由空间语义边界的方法。

【背景技术】

自由空间检测是辅助驾驶系统中的重要任务。自由空间检测要求在复杂的交通场景图像中能够准确地提取出代表道路的图像部分。检测出的自由空间需要为辅助驾驶系统提供交通场景信息，提升系统对于交通环境的感知能力。

目前自由空间检测的方法主要有两种，一种是The Stixel-World算法，另一种是全卷积神经网络。The Stixel-World算法通过显式建模的方式计算出图像中代表道路的部分，虽然具有运行效率高、实时性好的特点，但由于算法本身存在着一些假设，导致其对于交通场景的依赖性高，在不理想的交通场景下无法得到良好的检测结果；全卷积神经网络利用端到端、像素到像素训练的深度网络结构实现像素级别下的自由空间检测，并且不受输入图像尺寸的限制，易于训练，也可以与无监督学习或在线学习方法相结合。

上述的方法存在一些缺陷：首先，它们虽然可以较好地检测出可行驶的自由空间，但是缺失对于自由空间的边界的信息，而这种信息的丢失难以为辅助驾驶系统提供有效的周围驾驶环境；此外，它们是对于交通场景图像进行像素级的分类，这种分类方法缺少对于自由空间边界的规划，因此同样无法将周围的行驶环境清晰准确地描述出来。

在卷积网络的基础上，引入动态规划，可以有效地解决自由空间边界处语义信息缺失的问题。

【发明内容】

本发明的目的在于克服上述现有技术的缺点，提供一种预测自由空间语义边界的方法

为达到上述目的，本发明采用以下技术方案予以实现：

一种预测自由空间语义边界的方法，包括以下步骤：

步骤1：基于迭代结构，构建多尺度卷积神经网络，多尺度卷积神经网络结构包括用于特征提取的卷积神经网络模块F、基于卷积的低分辨率预测器LR-MODULE和2个高分辨率预测器HR-MODULE；将低分辨率预测器LR-MODULE输出的特征图用双线性插值的方法进行上采样，并将采样得到的特征图与特征提取器中尺度相匹配的特征F₁与F₂相联结并送入高分辨率预测器HR-MODULE；多级卷积神经网络最终会生成一幅4通道，1/4输入图像大小并包含边界预测结果的置信图M；置信图M中的每个通道分别代表背景(M_B)，平坦区域边界(M_F)，路面与障碍物的交界(M_V)与路沿边界(M_S)；

步骤2：采用边界动态规划与语义动态规划以推断出具体的自由空间语义边界；边界动态规划推理出具有空间平滑性的自由空间边界；语义动态规划为自由空间边界赋予语义信息。

本发明进一步的改进在于：

步骤1中，卷积神经网络模块F进行特征提取的方法如下：

输入一张图片到特征提取模块，将输入图像通过卷积层完成特征提取后，利用窗宽与步长均为2的池化层进行下采样，最终特征提取模块生成具有32个通道和输入图像大小1/8倍大小的空间特征。