[发明专利]基于Actor-Critic框架深度强化学习算法的交通灯信号控制方法

说明书

基于Actor‑Critic框架深度强化学习算法的交通灯信号控制方法，包括：建立仿真环境，定义深度强化学习模型的状态、动作、奖励值，设定并初始化策略网络、旧策略网络和值函数网络；采集交叉口交通状态信息，基于旧策略网络生成下一信号周期的配时方案；采集训练数据进行广义优势估计，计算策略网络和值函数网络的训练误差，并更新网络参数；将策略网络参数复制给旧策略网络；利用训练好的信号控制模型，基于当前时刻交叉口的交通状态信息，生成下一周期的信号配时方案。本发明能够显著提升信号控制模型的模型训练效率，明显降低交叉口平均排队长度、平均旅行时间和车辆平均延误等指标，且本发明生成的信号配时方案具备更高的实用性和安全性。

技术领域

本发明涉及智能交通领域道路交叉口交通灯信号控制方法，具体涉及一种基于Actor-Critic框架深度强化学习算法的交通灯信号控制方法。

背景技术

交通信号控制是在无法实现道路交通流空间分离的地方(主要是指平面道路交叉口)，在时间上给相互冲突的交通流分配通行权的一种交通管理措施。作为城市交通管理的重要手段，交通信号控制地质量水平在很大程度上决定了城市道路网络的运行质量。优质的交通信号控制方法能够有效引导和调度交通流，增加道路交叉口的通行能力、降低交叉口碰撞事故的发生率，提高交通系统的整体效益；而设计不完善的信号控制方法则有可能降低城市道路利用率、增加车辆延误、加重交通拥堵。

近几年迅速兴起的人工智能技术，为智能交通信号控制带来了新的发展契机。强化学习作为机器学习的一个重要分支，无需建立环境模型，仅通过与外部环境的交互与试错即可完成智能序贯决策，能够在时变性和随机性较强的城市道路交通系统中实现高效自适应控制，因此成为智能信号控制的研究热点。基于强化学习的交通信号控制技术种类繁多，主流方法分为两类。第一类主要依靠基于值函数的强化学习方法，如Q学习、SARSA等方法；第二类主要依靠基于策略的强化学习方法，如策略梯度法。

已有方法的主要不足可以归纳为以下两点：首先，现有方法的控制效果亟待提升。基于值函数的强化学习算法在复杂的城市路网系统中很难训练出准确的值函数，且状态空间和动作空间过高时此类算法将面临维度灾难；基于策略的强化学习算法虽然运算复杂度较低，但是采样轨迹方差过大，因此模型训练效率偏低且收敛效果较差。其次，现有方法的可行性和安全性偏低。目前多数方法都选择了相序不固定的信号配时方案，如果将其应用于真实路口，很可能引发司机和行人不解甚至不满，并且增加交叉口的事故发生率。

发明内容

为了克服现有技术的上述不足，本发明提供一种基于Actor-Critic框架深度强化学习算法的交通灯信号控制方法，该控制方法包括：

步骤S10，获取当前交叉口的交通状态信息；

步骤S20，利用训练好的交通信号控制模型，根据当前交叉口的交通状态生成下一周期的信号配时方案；

其中，所述交通信号控制模型是基于Actor-Critic框架的深度强化学习方法训练的，具体包含以下步骤：

步骤B10，配置仿真路口环境和车流数据到交通模拟器，搭建交通仿真环境，定义深度强化学习模型的状态、动作和奖励值函数，设定并初始化策略网络、旧策略网络和值函数网络。

步骤B20，采集当前交叉口的交通状态信息，基于旧策略网络生成下一信号周期的交通灯配时方案，并由交通模拟器仿真下一个信号周期；

步骤B30，判断仿真步数是否达到第一预设训练次数，若没有达到，则返回步骤B20，否则执行步骤B40；

步骤B40，采集第一预设训练次数的经验，所述经验包括交叉口状态、动作和奖励；进行广义优势估计，计算策略网络和值函数网络的训练误差，并更新网络参数；

步骤B50，判断训练次数是否达到第二预设训练次数，若没有达到，则返回步骤B40，否则执行步骤B60；