[发明专利]一种基于近端策略优化的小型路网交通信号优化方法

说明书

一种基于近端策略优化的小型路网交通信号控制方法，包括如下步骤：1)通过与SUMO的交互，实时获取路网中车辆的位置信息和信号灯的相位信息；2)数据预处理，获取整个路网在当前时刻的排队长度‑相位编号数据集；3)根据上一步整理的数据集，训练PPO网络直到达到最大迭代次数；4)损失函数达到精度要求后，即可得到该路网下基于近端策略优化的交通信号优化配时方案。与现有技术相比，本发明通过近端策略优化的方法，提高了小型路网的交通运行效率，更好地缓解了城市中小型连通区域的交通拥堵问题。

技术领域

本发明涉及智能交通、人工智能应用领域，具体涉及近端策略优化(ProximalPolicy Optimization)算法和小型路网交通信号优化方法。

背景技术

随着大众生活水平的普遍提高，汽车已成为人们出行最常用的交通工具，但由于道路资源的有限，交通管理协调机制的不科学以及交通决策存在的失误性等因素，城市路网，特别是交叉口处会造成严重的交通拥堵问题。对于某一个具体的交叉口，宽敞的道路和智能交通设备的存在使得该路口不会产生严重的拥堵；而对于多个交叉口连接而成的小型路网，拥堵问题仍然存在，并且是影响区域通行效率的最大因素。

发明内容

为了优化小型路网的交通信号配时方案，改善区域路网的交通拥堵现象，基于实时获取的交通数据，本发明提出一种基于近端策略优化的小型路网交通信号控制方法，对于小型路网提出的基于近端策略优化的交通信号优化配时方案可以有效提高交通通行效率，而且可以增加区域内不同交叉口之间的协作，应对交通的动态性变化。

本发明解决其技术问题所采用的技术方案是：

一种基于近端策略优化的小型路网交通信号控制方法，包括以下步骤：

1)利用路网交叉口处的交通数据信号传感器，实时获取小型路网中(井字型四交叉口)的交通数据，为车辆的相对坐标信息和信号灯在对应时刻所处的相位信息，确定处于排队状态的车辆，保存在原始数据集中；

2)原始数据预处理，删去离谱的数据并用前一时刻的数据填补缺失的数据，获取具体交叉口处的排队长度-相位编号集合{Q_i,j,P_i}，其中，Q_i,j表示当前时刻第i交叉口第j车道处的车辆排队长度，P_i代表当前时刻第i交叉口处的信号灯灯态，在该发明中，i＝1,2,3,4，j＝1,2,...,7,8；按照路网中交叉口的排列顺序，将集合{Q_i,j,P_i}整合得到整个路网在当前时刻的排队长度-相位编号数据集S_t，t为当前的时刻；

3)利用路网的排队长度-相位编号集S_t，初始化神经网络权重，利用近端策略优化方法PPO更新网络参数，寻找当前交通环境下的最优信号灯配时方案；

4)保存最终收敛的神经网络训练参数，得到该路网下基于近端策略优化的交通信号优化配时方案，在不同交通状态s_t下，该路网需切换至的交通相位由以下状态-动作对所决定：

P_next＝argmax(Q(s_now,a_now,θ))

其中P_next表示路网需切换至的相位，s_now为当前路网交通状态，a_now为当前路网可执行的相位，θ表示神经网络的参数，Q(s_now,a_now,θ)表示由当前路网状态，当前路网可执行相位，神经网络参数决定的Q值函数，argmax(Q(s_now,a_now,θ))表示使得Q(s_now,a_now,θ)最大的受控参数a_now。

进一步，所述步骤3)的过程如下：