[发明专利]一种对向双车道下基于强化学习的自动驾驶超车决策方法

说明书

本发明公开了一种对向双车道下基于强化学习的自动驾驶超车决策方法，包括以下步骤：通过传感器采集自动驾驶车辆的交通状态；将采集到的交通状态输入到经过训练的决策模型中；决策模型依据输入信息从其动作空间中选择相应的驾驶动作指令并输出，经本次驾驶动作后自动驾驶车辆形成新的交通状态；通过奖励函数计算本次驾驶动作的奖励值，并将原交通状态、驾驶动作、奖励值和新的交通状态作为转移样本存入经验回放池中；计算决策模型的损失函数值，并依据转移样本和损失函数值优化决策模型参数；重复以上步骤，直至自动驾驶结束。保证自动驾驶车辆超车决策过程的安全性和舒适性，通过强化学习决策方法，提高了决策的拟人性和鲁棒性。

技术领域

本发明涉及自动驾驶技术领域，具体涉及一种对向双车道下基于强化学习的自动驾驶超车决策方法。

背景技术

自动驾驶车辆系统一般采取分层结构，由环境感知、决策规划、车辆控制三个模块组成。环境感知模块检测交通环境中的障碍物信息，同时生成环境地图，以确定可行驶区域。决策规划模块相当于车辆的大脑。决策模块负责分解产生自动驾驶车辆各种离散的驾驶任务，例如超车，巡航，避撞，加减速跟车等宏观的动作指令。一旦确定出当前的驾驶任务后，在其基础上规划连续的车辆行驶轨迹。底层的车辆控制输出方向盘转角、节气门开度和制动压力，以跟踪期望的路径和速度。

一种安全有效的决策方法可以大大提高自动驾驶车辆的安全性以及舒适性。目前自动驾驶车辆决策方法多采用基于规则的方法，其中最为典型的算法是有限状态机法。该类方法通过针对可能会出现的场景，建立一一对应的规则，逻辑清晰，结构简单明确，得到了广泛的应用。但是该方法同样存在着显而易见的局限性：无法应对不确定的场景。由于现实环境的高度复杂性以及不确定性，无法对所有可能出现的场景建立相对应的规则。而基于学习的方法，通过大量与不同环境的交互，可以学习到不同场景下最合适的驾驶策略，让智能体自己处理复杂情况。

强化学习是一种正在快速发展的具有巨大潜力的机器学习方法，能够很好地解决序贯决策问题，在众多领域中已有广泛的应用。强化学习方法是一种试错学习，通过一系列与环境的交互，根据奖励来调整动作策略，从而实现学习的目的。并且它不需要建立模型，这一点极大地简化了自动驾驶系统的设计。不需要模型也意味着该方法的适应性比较好。本发明拟将其用于对向双车道环境下的自动驾驶超车决策方法中。对向双车道环境常见于我国省道，乡村公路和西部山路，是我国一种典型的交通路况。特别是当前方为一辆慢速的大货车时，后方车辆往往倾向于超车，若不具备超车条件，常常会使后方积压形成一长串车队列。此外，换道超车行为需要对车辆横纵向进行综合决策，是一种较为复杂的驾驶行为。超车行为相对车道保持需要考虑更多因素，包括交通规则、道路信息等，加大了换道超车决策的难度。因此，该交通环境下的超车决策相比简单的高速公路环境更加复杂，基于传统的状态机方法会无法应对环境中的不确定因素，同时状态机会显得异常臃肿，状态之间也容易出现重叠，出现转移错误。

发明内容

本发明要解决的技术问题是，针对现有技术存在的上述缺陷，提供了一种对向双车道下基于强化学习的自动驾驶超车决策方法，保证自动驾驶车辆超车决策过程的安全性和舒适性，通过强化学习决策方法，提高了决策的拟人性和鲁棒性。

本发明为解决上述技术问题所采用的技术方案是：

一种对向双车道下基于强化学习的自动驾驶超车决策方法，包括以下步骤：

1)通过传感器实时采集自动驾驶车辆的交通状态s；

2)将采集到的交通状态s输入到经过训练的决策模型中；

3)决策模型依据输入信息从其动作空间中选择相应的驾驶动作a指令并输出，经本次驾驶动作a后自动驾驶车辆形成新的交通状态s’；

4)通过奖励函数计算本次驾驶动作的奖励值r，并将原交通状态s、驾驶动作a、奖励值r和新的交通状态s’作为转移样本(s，a，r，s’)存入经验回放池中；