[发明专利]基于强化学习的无人驾驶汽车多车道行驶的决策方法

说明书

本发明公开了一种基于强化学习的无人驾驶汽车多车道行驶的决策方法，首先建立强化学习训练模型，利用强化学习算法收益函数对神经网络参数进行更新、修正从而建立基于强化学习‑BP神经网络算法的决策系统。无人驾驶汽车在多车道行驶过程中，传感器采集周围车辆信息，上述决策系统给出执行动作并预测车辆行驶状态，由收益函数判断车辆行驶危险度，决策多车道工况下车辆当前时刻的最优驾驶行为。本发明能提升无人驾驶汽车多车道高速行驶的效率与安全性，实现在高不确定性、动态环境下的无人驾驶汽车高效、安全的驾驶决策。

技术领域

本发明涉及无人驾驶汽车决策技术领域，尤其涉及一种基于强化学习的无人驾驶汽车多车道行驶的决策方法。

背景技术

随着当今时代智能化高度发展，智能车辆的产生与发展已成为一种趋势。通过智能决策和规划，无人驾驶汽车可以大幅度提高公路的通行能力，减少拥堵，尽量避免交通事故，通过合理分配降低汽车油耗等。而行为决策作为无人驾驶车辆智能化水平的一个重要体现，它决定着无人驾驶车辆的安全性、高效性、舒适性等方方面面。目前驾驶行为决策主要以基于规则的或是基于学习算法的决策系统为主。例如中国专利申请号CN201510381349.9，名称“一种无人驾驶汽车自主变道决策方法”中通过基于规则设计车辆间的安全变道距离作为变道条件；中国专利申请号CN201811524283.4，名称“一种基于规则与学习模型的无人驾驶汽车驶离高速的方法”中将规则模型与学习模型在不同环境下切换决策实现无人驾驶汽车安全下匝道任务。以上专利的决策系统依托神经网络模型或有限状态机模型进行决策，但神经网络需要的样本数量往往很大且容易过拟合，参数不易确定。有限状态机模型没有充分考虑环境的不确定性，在复杂的环境中，许多因素往往不能提前精确建模且在复杂环境下涉及状态增多时不便于管理。

发明内容

本发明所要解决的技术问题是针对于上述现有技术的不足，提供一种基于强化学习的无人驾驶汽车多车道行驶的决策方法。

本发明为解决上述技术问题采用以下技术方案：

基于强化学习的无人驾驶汽车多车道行驶的决策方法，其包括以下步骤：

步骤1)，基于小角度假设建立车辆的动力学模型和轮胎模型，建立动力学模型时结合转向工况下轮胎的侧偏力、驱动制动力、以及轮胎侧偏角进行单个轮胎和整车的受力分析，并对前轮偏角及横摆角建立约束条件；

步骤2)，对NGSIM数据库中US-101数据集的数据进行绘图分析，获取驾驶行为决策样本数据；

所述NGSIM数据库中US-101数据集的数据包括：车辆进入检测路段先后编号、开始检测时刻为起点的时间序列编号、车头中心距路段左侧边缘距离X、车头中心距路段起点距离Y、车辆瞬时速度、车辆瞬时加速度；

步骤3)，构建强化学习训练模型、搭建BP神经网络前向传播结构并获取随机执行动作，基于强化学习算法的目标函数选择与执行动作相对应的收益函数，在此基础上采用基于策略梯度的强化学习算法反向更新神经网络权值，建立基于强化学习-BP神经网络算法的决策系统；

步骤4)，基于上述决策系统获取执行动作并预测车辆行驶状态，由收益函数判断车辆行驶危险度，决策多车道工况下车辆当前时刻的最优驾驶行为，以提高汽车行驶时的安全性及高效性。

作为本发明基于强化学习的无人驾驶汽车多车道行驶的决策方法进一步的优化方案，步骤1)中基于小角度假设建立车辆动力学模型和轮胎模型的具体步骤如下：

以车辆自身质心O为坐标原点，沿车辆纵轴建立x轴，垂直于x轴并过质心O作y轴，形成车辆坐标系，对车辆沿x轴，y轴和绕z轴的受力进行分析：