[发明专利]一种端到端自动驾驶方法与系统、存储介质

说明书

本发明涉及一种端到端自动驾驶方法与系统、存储介质，包括：在车辆驾驶过程中，接收当前时刻的车辆前方图像，并对所述当前时刻的车辆前方图像进行语义识别获得当前时刻的第一语义分割图；将所述当前时刻的车辆前方图像和所述当前时刻的第一语义分割图作为当前时刻的模型输入量一并输入预先训练好的端到端自动驾驶模型进行处理，得到第二语义分割图和所述车辆动作控制信息；其中，所述车辆动作控制信息包括方向盘转角、车辆速度。本发明能够解决传统自动驾驶的端到端模型无法获知驾驶策略是如何对驾驶环境进行解释的，且驾驶策略学习的输入样本包括多种信息，较为复杂的技术问题。

技术领域

本发明涉及自动驾驶技术领域，具体涉及一种端到端自动驾驶方法与系统、存储介质。

背景技术

在传统自动驾驶中，都是采用基于规则的模块化方法，一般分为感知、决策规划和控制。模块化方案依赖于各个模块的精细复杂设计，而人为设计的系统往往覆盖不了各种驾驶场景，比如感知模块需要以一种有意义的表示形式来完美地表征外部环境，有助于决策与控制模块；而端到端自动驾驶方案更接近于人类本质，是一种纯AI的方法，端到端自动驾驶方案具有人工智能特性，以纯数据驱动的学习形式，学习感知的同时采取控制行为。

在实现本发明的过程中，发明人发现传统自动驾驶的端到端模型无法获知驾驶策略是如何对驾驶环境进行解释的，再者是驾驶策略学习的输入样本包括多种信息，较为复杂。

发明内容

本发明的目的在于提出一种端到端自动驾驶方法与系统，以解决传统自动驾驶的端到端模型无法获知驾驶策略是如何对驾驶环境进行解释的，且驾驶策略学习的输入样本包括多种信息，较为复杂的技术问题。

为实现上述目的，本发明的实施例提出一种端到端自动驾驶方法，包括如下步骤：

步骤S100、在车辆驾驶过程中，接收当前时刻的车辆前方图像，并对所述当前时刻的车辆前方图像进行语义识别获得当前时刻的第一语义分割图；

步骤S200、将所述当前时刻的车辆前方图像和所述当前时刻的第一语义分割图作为当前时刻的模型输入量一并输入预先训练好的端到端自动驾驶模型进行处理，得到第二语义分割图和所述车辆动作控制信息；其中，所述车辆动作控制信息包括方向盘转角、车辆速度；

其中，所述端到端自动驾驶模型包括概率图模型和驾驶策略模型；所述概率图模型用于根据当前时刻的模型输入量进行推理得到潜在状态变量，并根据所述潜在状态变量进行解码得到第二语义分割图；所述驾驶策略模型用于根据所述概率图模型输出的潜在状态变量进行驾驶决策得到车辆动作控制信息。

优选地，所述概率图模型具体用于根据所述当前时刻的模型输入量以及历史时刻的模型输入量和车辆动作进行推理得到潜在状态变量。

优选地，所述概率图模型包括滤波模块、潜在动态模块和生成模块，所述滤波模块用于对输入所述概率图模型的模型输入量进行滤波处理，所述潜在动态模块用于根据所述滤波模块的滤波处理结果推理得到潜在状态变量，所述生成模块用于根据所述潜在状态变量进行解码得到第二语义分割图。

优选地，所述驾驶策略模型基于最大熵强化学习算法中的随机策略学习算法训练得到。

优选地，所述端到端自动驾驶模型的优化目标函数为f＝f₁+f₂，所述概率图模型的优化目标函数为f₁，所述驾驶策略模型的优化目标函数为f₂；

其中：