[发明专利]一种基于强化学习的公交车辆排班方法

说明书

本发明公开了一种基于强化学习的公交车辆排班方法，属于公交车辆排班领域，具体为：首先、将某条公交线路的车辆排班问题建模为马尔可夫决策过程，其中包括状态，动作、奖励三个要素。将发车时刻表中每个时刻点作为一个决策点，利用强化学习智能体选取当前可用车辆从该时刻点发出，从而覆盖该时刻点。构建公交车辆排班的仿真环境，通过智能体与仿真环境的交互，利用强化学习算法获得智能体的最优策略。然后，利用智能体对发车时刻表中每个时刻点按时间顺序逐点决策，由此得到公交车排班方案。本发明提供了一种公交车辆的在线调度方法，在发生交通拥堵，交通事故等不确定事件的情况下，能保证全部覆盖发车时刻表，且所用车辆数目少。

技术领域

本发明属于公交车辆排班领域，特别涉及一种基于强化学习的公交车辆排班方法。

背景技术

公交车辆排班是提高公交服务质量的关键一环。

目前解决公交车排班问题使用的方法大多是基于精确算法和启发式算法，精确算法虽能 求出最优解，但是对于算力要求较高，无法很好的解决比较复杂的公交车辆排班问题；而启 发式算法虽能解决一些复杂的问题，且能获得一些不错的排班，但由于缺乏实时决策，导致 应对突发情况的能力较差，而且有时无法保证时刻点的全覆盖这一重要要求。

由于现有方法都是每次产生一个完整排班方案的离线调度方法，因此无法在时刻点粒度 根据某个时刻点的实时信息进行实时决策。然而，在实际应用场景中，由于城市交通问题的 复杂性，交通拥堵，交通事故等不确定事件是一种很常见的现象，在遇到这样的现象时，原 有的车辆排班方法往往不能很好地应对。

因此，亟需提出一种能进行实时决策，同时有良好的突发情况应对能力的公交车辆排班 方法。

发明内容

针对上述问题，本发明提供一种基于强化学习的公交车辆排班方法，以实现实时决策， 同时能应对动态事件并提供保证时刻点全覆盖的优秀排班时刻表。

所述的基于强化学习的公交车辆排班方法，具体步骤如下：

步骤一、对于给定的公交线路的发车时刻表，利用强化学习进行车辆排班(调度)。将公 交车辆排班问题看作序列决策过程，发车时刻表中每个时刻点作为决策点。对于每个时刻点， 由智能体根据控制点中车辆的信息，选取一个车辆在该时刻点从该控制点发出，从而覆盖该 时刻点。利用智能体对发车时刻表中的所有时刻点进行逐点决策，使得时刻表中每个时刻都 有车辆发出，最终形成车辆排班方案。

步骤二、将公交车辆排班问题建模为包括状态，动作和奖励三要素的马尔可夫决策过程。

1)状态：对于当前控制点内每个可供选择的车辆，为其构建一个车辆表示向量，该向量 包含该车辆与排班相关的行驶信息。可供选择的车辆指当前时刻停靠在该控制点内的可发车 的车辆以及还未发出的车辆。由所有可供选择车辆的表示向量构成的矩阵，作为状态。为保 证强化学习算法的收敛速度，进一步从行空间和列空间两个角度对状态矩阵进行降维。

对于行空间的降维过程为：首先，逐个判断各车辆是否符合条件约束。其中约束条件是 指：在当前发车时刻点，该车是否具备发车条件，即是否满足位置，休息时间和工作时间的 约束。然后，将符合条件约束的车辆划分为已发车车辆和未发车车辆，不符合条件约束的车 单独分类；最后，在某个发车时刻点符合条件约束的未发车车辆可缩减为一行，而不符合条 件约束的车用来填充状态矩阵，保证矩阵的形状不变，因此最终缩减了状态矩阵的行数。

对于列空间降维为：构造更精简的车辆表示向量，来减少状态矩阵的列数。通过分析车 辆行驶信息中与排班最相关的信息，挑选出剩余可行驶时间，休息时间，趟次数，剩余可工 作时间和车辆类型五项信息。

2)动作：即智能体所选的车辆。

对于符合约束条件且已发车的车辆，直接发出该车辆。