[发明专利]一种基于深度强化学习的智能交通灯控制方法及装置

权利要求书

1.一种基于深度强化学习的智能交通灯控制方法，其特征在于，所述方法包括：

每个路口设置一个智能体，用于该路口的交通灯控制；

智能体获取当前交通状态；其中所述当前交通状态包括当前路口的数据信息和相邻路口的数据信息；

将当前交通状态输入训练好的Q-神经网络；

根据Q-神经网络的输出，确定这个智能体对对应路口交通灯的控制动作；

其中所述Q-神经网络的构建训练方法包括：

步骤1、通过仿真平台构建现实交通路网环境；

步骤2、基于仿真平台随机生成时变交通流量；

步骤3、智能体通过仿真平台获取当前阶段本地交通信息和邻接智能体的交通信息，结合生成当前交通状态s；

步骤4、智能体以当前交通状态s作为Q-神经网络的输入，以∈概率随机选取下一阶段动作a，以1-∈的概率选取Q-神经网络输出序列的最大值作为下一阶段动作a；

步骤5、仿真平台执行智能体提供的动作a，使交通状态进入下一阶段交通状态s_，并返回即时奖励值r；

步骤6、基于当前交通状态s、动作a、下一阶段交通状态s_和即时奖励值r，生成经验元组(s,a,s_,r)，并将所述经验元组存入经验池中；每隔一段时间，利用优先经验回放机制从经验池中选取若干条经验元组；

步骤7、基于已选择的经验元组，利用平滑化绝对值损失函数和经验元组的TD-error值加权和作为损失函数，使用最先进的正交初始化器和RMSprop作为梯度优化器对Q-神经网络进行训练，得到训练好的Q-神经网络。

2.根据权利要求1所述的基于深度强化学习的智能交通灯控制方法，其特征在于，所述步骤3中，智能体根据本地观测到的交通信息和邻接智能体所观测到的具有折扣的交通信息加权和计算出当前交通状态s；

其中交通信息包括路口车辆等待队列长度、路口通过车辆数和更新后的车辆等待时间。

3.根据权利要求1所述的基于深度强化学习的智能交通灯控制方法，其特征在于，所述步骤4，包括：

每个交通路口包含四个相位，交通灯将基于四个相位进行转变，智能体的动作也对应的包含四个值1，2，3，4，每次根据所选择的动作进入对应相位；

智能体选取动作受∈-贪婪策略控制，智能体以∈的概率进行环境探索，即随机选取一个动作a；智能体以1-∈的概率进行已有经验的利用，即选择Q-神经网络的输出中使得Q值达到最大的动作a；并基于动作a执行一个时间步。

4.根据权利要求3所述的基于深度强化学习的智能交通灯控制方法，其特征在于：将∈从固定值更改为随着时间变化线性递减的动态值，确保智能体在前期缺少经验的情况下更加侧重于探索环境，后期则更侧重于根据现有的经验训练Q-神经网络。

5.根据权利要求1所述的基于深度强化学习的智能交通灯控制方法，其特征在于：设Δt作为智能体与交通环境交互的时间步，每次在环境模拟了Δt时长后，智能体将改变当前策略；设计黄灯时间ty在每次交通灯转换时都要强制执行，且保证ty＜Δt。

6.根据权利要求1所述的基于深度强化学习的智能交通灯控制方法，其特征在于，奖励值的定义为以下因素的加权和：所有临近道路的队列长度L；所有临近道路的延迟总和D；所有临近道路车辆更新后的等待时间总和；最后一个动作后，时间间隔t内通过交通路口的车辆总数N。