[发明专利]一种交通信号控制方法、装置、设备及存储介质

权利要求书

1.一种交通信号控制方法，其特征在于，包括：

对路网进行划分，确定路网中的保护区、缓冲区、边界控制信号信息以及所述保护区内的自适应信号控制信息；

根据所述路网的划分结果，对所述路网中的交通流量进行标定，并对所述边界控制信号信息进行预配置；

根据所述预配置的内容，采用深度强化学习搭建上层信号控制智能体，其中，每一个上层信号控制智能体代表一个边界路口信号灯；

根据所述预配置的内容，采用深度强化学习搭建底层信号控制智能体，其中，每一个底层信号控制智能体代表保护区内一个信控路口的信号灯；

根据所述上层信号控制智能体和所述底层信号控制智能体，对采集了交通信息后的目标路网进行双层信号控制；

所述对路网进行划分，确定路网中的保护区、缓冲区、边界控制信号信息以及所述保护区内的自适应信号控制信息，包括：

确定路网中的保护区，其中，所述保护区为所述路网所在城市中的目标地区；

确定路网中的缓冲区，其中，所述缓冲区为所述路网所在城市中进入所述保护区的必经区域；

确定边界控制信号的位置，其中，所述边界控制信号用于控制所述保护区的内外交通流入流出；

确定自适应信号的控制信息，其中，所述自适应信号用于控制所述保护区内的单个交叉口；

所述根据所述预配置的内容，采用深度强化学习搭建上层信号控制智能体，包括：

定义所述上层信号控制智能体的状态，将路网总车辆数和缓冲区总车辆数组合为状态信息；

定义所述上层信号控制智能体的动作，每个动作为下一周期的总绿灯时间；

定义所述上层信号控制智能体的环境奖励，确定所述路网内的出行完成总数；

构建所述上层信号控制智能体的策略网络和价值网络，其中，所述策略网络用于根据所述上层信号控制智能体的状态，计算得到最优动作；所述价值网络用于评估动作的好坏；

采用随机梯度下降法训练所述策略网络，并且采用时序差分误差训练所述价值网络；

所述根据所述预配置的内容，采用深度强化学习搭建底层信号控制智能体，包括：

定义所述底层信号控制智能体的状态，将该智能体所在路口的排队长度和道路密度组合为状态信息；

定义所述底层信号控制智能体的动作，将每个动作确定为下一决策步长的相位序号；

定义所述底层信号控制智能体的环境奖励，确定执行相位后底层信号控制智能体所在路口进口道的总延误；

构建所述底层信号控制智能体的价值网络，所述价值网络用于评估动作的好坏。

2.根据权利要求1所述的一种交通信号控制方法，其特征在于，所述根据所述路网的划分结果，对所述路网中的交通流量进行标定，并对所述边界控制信号信息进行预配置，包括：

采集路网的历史交通数据或仿真交通数据；

对所述历史交通数据或所述仿真交通数据进行标定；

配置所述边界控制信号的控制周期；

配置所述边界控制信号和所述自适应信号的安全信号时长。

3.一种电子设备，其特征在于，包括处理器以及存储器；

所述存储器用于存储程序；

所述处理器执行所述程序实现如权利要求1或2所述的方法。

4.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1或2所述的方法。