[发明专利]一种基于深度循环Q学习的单点交叉口信号控制方法

权利要求书

1.一种基于深度循环Q学习的单点交叉口信号控制方法，其特征在于，所述控制方法包括以下步骤：

步骤一：确定需要优化控制的交叉口，并获取交叉口一段时间内的真实交通流数据；

步骤二：根据实际交叉口道路信息，利用sumo仿真软件建立微观交通仿真环境，输入实际道路中采集的流量数据并生成交通需求文件用于智能体agent训练；

步骤三：定义深度强化学习智能体agent的状态集、动作集和奖励函数，同时设定神经网络框架结构和定义神经网络参数；

步骤四：初始化神经网络参数和交叉口状态，通过深度强化学习智能体agent的不断训练，得到最优信号配时策略。

2.根据权利要求1所述的单点交叉口信号控制方法，其特征在于，所述步骤一中的交通流数据为某特定时间段每隔2分钟的车流量数据，数据格式为视频数据。

3.根据权利要求1所述的单点交叉口信号控制方法，其特征在于，所述步骤二中的交叉口微观交通仿真环境包括：交叉口车道数、进口道长度、渠化、相位组成、交叉口车流量、车流组成、车流转向。

4.根据权利要求1所述的单点交叉口信号控制方法，其特征在于，所述步骤三中状态集包含车辆位置和车速信息，动作集包含四种信号灯相位和持续时间的选择。

5.根据权利要求1-4之一所述的单点交叉口信号控制方法，其特征在于，所述步骤三具体包括：将仿真时的车辆位置、速度和加速度的信息转换为矩阵图，在已知车道长度为d的情况下，从停车线起划分单元网格；此时若有车占据某一网格，在平面矩阵中将此位置标为1，若某网格中没有车，则标为0，即可得到位置矩阵，从而得到速度矩阵和加速度矩阵：

A＝{NSA,NSLA,EWA,EWLA}

其中，A为动作集，NSA是指南北方向的直线绿相，EWA是指东西方向的直线绿相，L表示左转相位；

r_t＝0.9twt_t-1-twt_t

其中，r_t为奖励，twt_t为时刻t所有车辆的总等待时间。

6.根据权利要求1-4之一所述的单点交叉口信号控制方法，其特征在于，所述步骤三中神经网络框架结构利用了一个深度循环Q网络来表示Q(s，a|θ)的值，其中θ表示神经网络的权重，s和a分别是状态和动作长短期记忆网络。

7.根据权利要求1-4之一所述的单点交叉口信号控制方法，其特征在于，所述步骤四中深度强化学习智能体的训练具体过程如下：

41)初始化DRQN基本参数和交叉口状态；

42)根据当前交叉口状态选择一个动作；

43)执行选择的动作，计算执行该动作获得的奖励并获取交叉口下一个状态；

44)将上述动作记录存放在记忆回放池中；若记忆回放池中样本数大于batch，则从记忆回放池中拿出batch大小的样本，根据目标网络得到训练样本，用梯度下降法更新网络参数，达到一定步数后更新目标网络，否则，直接进入步骤45)；

45)新状态赋值给当前状态，重复步骤42)、43)、44)直到算法收敛，得到最优信号配时策略。

8.根据权利要求7所述的单点交叉口信号控制方法，其特征在于，采用ε贪婪策略，每次迭代选择的时候，产生一个随机数，当随机数小于ε的时候，从动作空间中随机选择一个动作，大于ε的时，选择Q值最大的动作，ε随着训练次数衰减。

9.根据权利要求1-4之一所述的单点交叉口信号控制方法，其特征在于，在步骤四中所述神经网络训练过程中采用目标网络和经验池回放技术。

10.根据权利要求1-4之一所述的单点交叉口信号控制方法，其特征在于，步骤四中所述神经网络训练过程中利用梯度下降算法为Adam算法，利用梯度信息动态调整每个参数的学习率。