[发明专利]一种端到端的无人驾驶决策方法及系统

说明书

本发明提供了一种端到端的无人驾驶决策方法，包括：采集车辆行驶图像和车辆行驶过程中的驾驶决策数据；将采集的车辆行驶图像进行预处理；构建多路时空决策网络，所述网络以没有预处理的训练图像和所得到的低层特征图像作为输入，使用多个通路从输入的图像中提取高层时空特征，并将提取的高层时空特征进行融合，得到用于决策的驾驶决策量；使用所述训练图像作为输入，该输入的图像对应的驾驶决策数据为标签对所构建的多路时空决策网络进行训练，得到用于决策的网络参数；利用所述决策图像，使用经训练后的多路时空决策网络进行无人驾驶决策，得到决策结果。本发明还提供一种端到端的无人驾驶决策系统。本发明能提升决策的有效性。

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种端到端的无人驾驶决策方法及系统。

背景技术

近年来，中国及全球的车辆保有量逐年上升，汽车已经成为了人们主要的出行方式。然而驾驶汽车的过程既花费大量时间又耗费大量精力，学习驾驶汽车需要消耗的较多时间，驾驶员还可能由于操作失误导致危险。为了将人们从繁重耗时的驾驶过程中解放出来，无人驾驶技术应运而生。

传统的无人驾驶方案将无人驾驶过程分解为场景理解和驾驶决策两个部分，使用目标检测、语义分割等方法先对交通场景进行理解，之后根据理解的结果做出驾驶决策，虽然近年场景理解的效果有大幅提升，但是其从场景理解结果到驾驶决策仍然困难重重。

端到端的无人驾驶决策依靠模型强大的学习能力，直接通过模型从图像输入得到驾驶决策，由模型自身隐含地去理解交通场景，这样的系统简便且免去了辅助的人工决策设计。但是等现有的端到端决策方案只考虑了当前时刻的空间信息，没用考虑车辆行驶的动态过程中包含的时间信息，因此效果还有待提升。

发明内容

针对上述技术问题，本发明一方面提出一种端到端的无人驾驶决策方法，该方法考虑到车辆行驶是一种动态过程，使用了三维卷积获取时空信息和使用了多种低层特征，能获取更多有效信息，提升决策的有效性。本发明另一方面还提供一种端到端的无人驾驶决策系统。

本发明采用的技术方案为：

本发明一实施例提供一种端到端的无人驾驶决策方法，包括：

采集车辆行驶图像和车辆行驶过程中的驾驶决策数据，所述车辆行驶图像包括训练图像和决策图像；

将采集的车辆行驶图像进行预处理，得到低层特征图像，所述低层特征图像包括梯度图像和光流图像；

构建多路时空决策网络，所述网络以没有预处理的训练图像和所得到的低层特征图像作为输入，使用多个通路从输入的图像中提取高层时空特征，并将提取的高层时空特征进行融合，得到用于决策的驾驶决策量；其中，所述通路具有由四个三维卷积模块堆叠而成的网络结构，所述三维卷积模块包括三维卷积层、批量归一化层及激活层；

使用所述训练图像作为输入，该输入的图像对应的驾驶决策数据为标签对所构建的多路时空决策网络进行训练，得到用于决策的网络参数，所述网络参数表征三维卷积层中的每个卷积核里的权重；

利用所述决策图像，使用经训练后的多路时空决策网络进行无人驾驶决策，得到决策结果。

可选地，所述三维卷积层的计算公式为：

其中，w表示当前卷积层对应的卷积核里的权重，v是当前卷积层对应的特征图里的特征值，b_ij是当前卷积层中的第i行和j列对应的偏置，x、y、t分别表示当前卷积层对应的三个方向，i、j分别表示当前特征图里的行和列，m代表当前层特征图的数量，P、Q、R分别表示卷积核三个方向的大小。

可选地，所述批量归一化层使用如下公式对训练数据进行归一化：