[发明专利]一种自动驾驶方法及其系统、车辆

说明书

本发明涉及一种自动驾驶方法及其系统、车辆，所述方法包括如下步骤：获取车辆前方图像序列和车辆速度序列；预先训练的卷积神经网络对所述前方图像序列进行处理，得到多帧图像特征向量序列，并将所述多帧图像特征向量序列和所述车辆速度序列的低维特征进行衔接处理，得到每一帧的编码特征向量并输出；预先训练的长短期记忆网络依序对每一帧的编码特征向量和处理其前一帧的编码特征向量得到的状态向量进行处理，得到与当前帧的编码特征向量对应的驾驶指令；控制车辆的执行机构执行所述驾驶指令。所述系统为实现所述方法的载体，所述车辆包括所述系统。实施本发明能够提高车辆拟人自动驾驶的准确性与实时性。

技术领域

本发明涉及自动驾驶技术领域，具体涉及一种自动驾驶方法及其系统、车辆。

背景技术

在传统的自动驾驶中，都是采用基于规则系统的模块化方法，一般分为感知、融合、决策和控制几大模块。其优点是各模块的任务明确，系统出现问题时可进行快速排查，系统的可靠性较高。然而，这种方案依赖于各个模块的精细设计，而人为设计的系统往往覆盖不了驾驶的各种场景，因此其处理复杂路况的能力有限。并且这种方案的感知模块往往需要大量的标注数据进行模块化的深度神经网络训练，由此需要耗费大量人力物力进行数据标注。而通过采用端到端深度神经网络模仿驾驶行为的方案是当前自动驾驶领域中最可靠有效的方法，通过直接输入原始图像数据获取车辆控制信号，不需要对各个模块进行复杂精细的设计，训练数据可以直接通过车载摄像头和车载CAN中获取到。

其中，端到端深度神经网络模仿驾驶行为的现有方案如下：

现有方法一提出了一种基于卷积神经网络CNN的端到端自动驾驶系统，通过输入一帧图像直接预测出控制信息方向盘转角，实现输入到输出的直接映射。然而该端到端自动驾驶系统只预测车辆的横向控制信息方向盘转角。但现有方法一只适用于简单场景的车道保持功能，在避障、红路灯等复杂场景，该系统具有一定的局限性，无法理解驾驶场景。

现有方法二提出了一种基于卷积神经网络CNN与长短时记忆循环神经网络LSTM相结合的CNN-LSTM的端到端自动驾驶系统，并增加了语义分割辅助任务，通过输入图像序列预测出车辆横纵向的动作概率。然而现有方法二并没有通过输入图像直接预测控制信息方向盘转角与车速，而是预测左转、右转、直行、缓慢或停下的动作概率。在自动驾驶中该系统需额外增加车辆控制子系统。

现有方法三提出了一种基于卷积神经网络CNN与长短时记忆循环神经网络LSTM相结合的CNN-LSTM的端到端自动驾驶系统，将图像和车速同时输入网络，同时预测方向盘转角和车速。虽然现有方法三与现有方法一相比增加了车速的预测，但现有方法三只能实现简单的车道保持功能，不能应对较复杂的驾驶环境。

综上，现有端到端深度神经网络模仿驾驶行为的技术尚未成熟，有待进一步改进。

发明内容

本发明的目的在于提出一种自动驾驶方法及其系统、车辆，以提高LSTM网络图像序列输入与自动驾驶实车测试的实时性、自动驾驶复杂场景中的沿车道线行驶与避障能力、以及车辆控制方向盘转角与车速预测的准确度。

为了实现本发明目的，根据本发明第一方面，本发明实施例提供一种自动驾驶方法，所述方法包括如下步骤：

获取车辆前方图像序列和车辆速度序列；

预先训练的卷积神经网络对所述前方图像序列进行处理，得到多帧图像特征向量序列，并将所述多帧图像特征向量序列和所述车辆速度序列的低维特征进行衔接处理，得到每一帧的编码特征向量并输出；

预先训练的长短期记忆网络依序对每一帧的编码特征向量和处理其前一帧的编码特征向量得到的状态向量进行处理，得到与当前帧的编码特征向量对应的驾驶指令；

控制车辆的执行机构执行所述驾驶指令。