[发明专利]基于Actor-Critic框架深度强化学习算法的交通灯信号控制方法

权利要求书

1.基于Actor-Critic框架深度强化学习算法的交通灯信号控制方法，包括：

步骤S10，获取当前交叉口的交通状态信息；

步骤S20，利用训练好的交通信号控制模型，根据当前交叉口的交通状态生成下一周期的信号配时方案；

其中，所述交通信号控制模型是基于Actor-Critic框架的深度强化学习方法训练的，具体包含以下步骤：

步骤B10，配置仿真路口环境和车流数据到交通模拟器，搭建交通仿真环境，定义深度强化学习模型的状态、动作和奖励值函数，设定并初始化策略网络、旧策略网络和值函数网络；

步骤B20，采集当前交叉口的交通状态信息，基于旧策略网络生成下一信号周期的交通灯配时方案，并由交通模拟器仿真下一个信号周期；

步骤B30，判断仿真步数是否达到第一预设训练次数，若没有达到，则返回步骤B20，否则执行步骤B40；

步骤B40，采集第一预设训练次数的经验，所述经验包括交叉口状态、动作和奖励；进行广义优势估计，计算策略网络和值函数网络的训练误差，并更新网络参数；

步骤B50，判断训练次数是否达到第二预设训练次数，若没有达到，则返回步骤B40，否则执行步骤B60；

步骤B60，将策略网络参数复制给旧策略网络，完成当前回合的训练；

步骤B70，判断训练回合数是否达到第三预设训练次数，若没有达到，则返回步骤B20，开启新一回合的训练；若已达到，则获得训练好的交通信号控制模型。

2.根据权利要求1所述的基于Actor-Critic框架深度强化学习算法的交通灯信号控制方法，其特征在于：步骤B10中所述的车流数据为真实道路上采集的车流数据。

3.根据权利要求1所述的基于Actor-Critic框架深度强化学习算法的交通灯信号控制方法，其特征在于：步骤B10中所述的“定义深度强化学习模型的状态、动作和奖励值函数”，其方法为：

B101，将状态s_t定义为交叉口各相位车道内的平均车辆数和车辆平均速度，具体说来，N_i表示相位i中允许通行的车道数量，n_i,j和v_i,j分别表示相位i下车道j中的车辆数和车辆平均速度，则相位i的平均到达车辆数s_n,i和车辆平均速度s_v,i分别为：

B102，将动作a_t定义为对下一个信号周期的调整动作，具体说来，对于包含P个相位的信号控制方案，其可选动作集中共有(2P+1)个动作，记为：

其中表示将下一信号周期中相位i的时长延长w秒，表示将下一信号周期中相位i的时长缩短w秒，a₀则表示下一信号周期与当前周期的配时方案保持一致；

生成的信号控制方案的相位顺序是稳定不变的，且每次只在较小的范围内改变某一个相位的时长；

B103，将奖励值函数r_t定义为上一回合平均排队长度与当前时间步平均排队长度的差值，记为：

其中T表示每回合的轨迹数，q_k(k∈[1,T])是历史平均排队长度，q_t是当前时间步的平均排队长度；在每个回合中，奖励值的第一项都是常量，只有第二项是变量，因此虽然貌似增加了奖励值中的变量，但其实并未增加模型的训练难度；在此前提下，这一设计促使智能体在前一回合成果的基础上开展优化，能够显著提高模型的训练效率。