[发明专利]基于车路协同强化学习的路径规划方法及装置、应用系统

说明书

本发明涉及一种基于车路协同强化学习的路径规划方法及装置、应用系统，初始化车辆状态参数；调节主路车辆加速度a₁值；根据调节后的主路车辆加速度a₁值，计算匝道车辆到达交汇口时的主路车辆所在位置；根据匝道车辆到达交汇口时的主路车辆所在位置、主路车辆速度、匝道车辆速度，计算强化学习的增强信号值r；根据强化学习的增强信号值r，对所述调节后的主路车辆加速度a₁值进行评价，评价结果包括最优、好、坏和决策失败；当规划决策次数达到设定的阈值M时，结束本次学习。本发明通过强化学习方法使车辆自主决策最优路径规划，能灵活地应对匝道车辆加/减速度的变化，更具客观性、灵活性、自适应性，同时使能耗控制达到最优。

技术领域

本发明涉及一种基于车路协同强化学习的路径规划方法及装置、应用系统。

背景技术

据统计,每年在高速匝道发生的交通事故占总事故的30％以上。如图1所示，10为主路车辆，20为匝道汇入车辆，无论车辆10是人工驾驶还是自动驾驶，视野范围均无法覆盖到匝道区域，车辆10与车辆20可能会在匝道汇入口处发生碰撞事故。如果车辆为了避免碰撞，每次即将到达匝道汇入口时都减速，虽然可减少碰撞事故，但降低了通行效率，同时增加了车辆能耗。

车路协同是采用先进的无线通信和新一代互联网等技术，全方位实施车车、车路动态实时信息交互，并在全时空动态交通信息采集与融合的基础上开展车辆主动安全控制和道路协同管理，充分实现人车路的有效协同，保证交通安全，提高通行效率，从而形成的安全、高效和环保的道路交通系统。如图2所示，1为主路车辆，可为货车、客车、轿车或其他车辆，可为燃油车也可为电动车，2为匝道汇入车辆，车型不限，可为货车、客车、轿车或其他车辆，可为燃油车也可为电动车，3为路侧感知设备，可通过与匝道车辆通信的方式或采集匝道道路信息的方式获取匝道车辆信息，并发送给主路车辆，主路车辆通过提前加速或减速的方式避免匝道汇入口的碰撞事故发生。

如图3所示，安全汇车的最终结果是，车辆交汇时，车辆1的目标位置需在车辆2的前方或后方，保持相对速度为0，保持最佳的安全距离d^*(d^*的数值根据速度的不同而不同)通行。如图4所示的匝道安全汇车示例，车辆在接收到路侧设备3发送的匝道车辆信息后，计算出汇车最佳的目标位置和速度，此时车辆车速为v₁，与目标位置距离为s，目标位置车辆车速为v₂。在距离的s行驶过程中,车辆有无限种方法能使得在汇车时,相对速度为0,相对距离为d^*,如,可以以恒定的减速度a₁进行减速(假设v₁v₂),行驶了距离s后,v₁＝v₂,也可先以较大减速度a₁进行减速,再以恒定速度v₂行驶至目标位置,也可先以较大减速度进行减速,再以较小减速度进行减速。

现有车路协同学习路径规划方法是通过监督学习的方式进行路径规划，即人为定义加减速策略，定义距离、速度、加/减速度的对应关系，使车辆安全、无碰撞通行。这种人为设定的方式具有较大主观性，灵活性、自适应性不强，尤其当遇到车辆2的加/减速度a₂不断变化时，这种路径规划方法存在较大不稳定性，使得实际运行时车辆能量消耗过大。

发明内容

本发明的发明目的在于提供一种车路协同强化学习路径规划方法及装置、应用系统，通过强化学习方法使车辆自主决策最优路径规划，能灵活地应对匝道车辆加/减速度的变化，更具客观性、灵活性、自适应性，同时使能耗控制达到最优。

基于同一发明构思，本发明具有三个独立的技术方案：

1、一种基于车路协同强化学习的路径规划方法，其特征在于，包括如下步骤：