[发明专利]基于启发式深度Q网络的交通灯控制方法

权利要求书

1.一种基于启发式深度Q网络的交通灯控制方法，其特征在于，包括如下：

步骤1：读取城市交通路网信息，建立各个路口的车辆交通状态集合T_i，并将读取的城市交通路网信息转换为邻接矩阵进行存储；其中，建立各个路口的车辆交通状态集合T_i，实现如下：

1a)根据交通路网信息构建路口交通信号控制器的集合I：

I＝{agent₀,…agent_i,…agent_n}，

其中agent_i表示第i个路口的交通信号控制器，i∈[0,n]，n为路网中的路口数；

1b)根据中国的道路交通规则建立路口信号控制器agent_i的动作集A_i：

A_i＝{a₁,a₂,a₃,a₄}，

其中a₁表示南北方向的直行或右拐，a₂表示东西方向的直行或右拐，a₃表示南北方向的左拐，a₄表示东西方向的左拐，路口信号控制器agent_i在同一时刻只能选择一组信号灯相位方向；

1c)根据城市交通路网信息构建第i个路口的驶入车道集合L_i，驶入车道集合L_i中的一条驶入车道为l_i，l_i∈L_i；

1d)根据中国的道路交通规则构建第i个路口的信号灯集合TL_i，驶入车道l_i上的信号灯为tl_i，tl_i∈TL_i，该信号灯仅考虑红灯和绿灯；

1e)根据路网中车辆信息构建第i个路口的车辆状态集其包含车辆所处车道的信号灯tl_i、所处位置p以及目的地d信息，并用三元组[tl_i,p,d]表示；

1f)根据交通信号控制器的集合I、路口信号控制器agent_i的动作集A_i、驶入车道集合L_i、信号灯集合TL_i和车辆状态集建立第i个路口的车辆交通状态集合T_i：

同理，可以建立路网中所有路口的车辆交通状态集合；

步骤2：从步骤1建立的各个路口车辆交通状态集合中，获取各个路口不同时刻的信息，该信息为状态集、动作集和动作奖励值；

步骤3：根据步骤2获取的信息和步骤1中的邻接矩阵，利用启发式深度Q网络方法实现对城市路网交通灯进行控制：

3a)初始化第i个路口的评估网络参数θ_i＝1和目标网络参数θ_i^-＝1，初始化学习率α＝0.05，折扣因子γ＝0.99，ε贪心策略中的ε初始为1迭代递减至0.01，采样间隔batch＝32，目标网络更新步长C＝50，仿真时间t的初始值为0，初始化第i个路口的奖励r_tⁱ＝0，迭代次数上限T＝50000；

3b)设置启发函数

其中：

式中，表示在t时刻第i个路口的状态，c为比例系数，c∈[0,1]，l为第i个路口的任意一个车道，为在状态下采取动作a之后第l个车道的车流量，A_i为第i个路口的动作集，a'为A_i中的任意一个动作，θ_i为第i个路口的评估网络参数，为将输入到第i个路口的评估网络的输出值，η为一个较小的正值，启发函数的值越大，表明状态下动作a越好，表明交通路网中车辆的通行量越多；

3c)在时刻t，将第i个路口的状态输入到评估网络中，对任意一个动作a，计算评估网络的输出值和启发函数的函数值；其中，评估网络的输出值按照如下公式计算：

其中MLP函数为评估网络函数，它由评估网络的结构决定，MLP函数先将通过两个卷积层卷积来提取特征，再将提取到的特征通过两个全连接层得到输出

3d)选择并执行信号灯动作

其中，rand(0,1)表示[0,1]之间的一个随机数，ε初始值为1迭代递减至0.01，为评估网络的输出，为启发函数的值；

获得奖励r_tⁱ，再进入下一状态令t＝t+1；其中的奖励r_tⁱ，按如下公式计算：

其中w₁、w₂、w₃为三个不同的比例系数，n_i为在动作执行期间通过路口i的车辆数，n₀为单位时间内经过的车辆数的平均值，为在t时刻第i个路口的四个不同方向车辆的队列长度，为在t-1时刻第i个路口的四个不同方向车辆的队列长度，N为路口车道数量，p_j表示在第j个车道所有车辆的等待时间，r₀表示系统定义的额外奖励；

3e)用状态动作评估网络的输出值奖励r_tⁱ和下一状态组成一个参考向量并将其存储在第i个路口的参考向量集M_i中，当该参考向量个数大于2000时，开始训练评估网络，执行3f)，否则，执行3c)；当该参考向量个数大于5000，则移除最早生成的参考向量；

3f)从参考向量集M_i中采样得到参考向量的样本集，输入到评估网络中得到评估网络的输出值根据评估网络的输出值和第j个邻接路口t-1时刻的评估网络的输出值更新第i个路口的评估网络的输出值按照如下公式进行更新：

其中，α(t)为学习率，γ为折扣因子，A_i为第i个路口的动作集，a'为A_i中的任意一个动作，θ_i和分别是第i个路口的评估网络和目标网络参数，N'为第i个路口的邻接路口集，ω_i,j表示第j个邻接路口t-1时刻的评估网络的输出值的权重，计算公式如下：

式中，c₁、c₂为两个数值不同的比例系数，d_i,j表示第i个路口到第j个路口的距离，T_i,j表示第i个路口到第j个路口之间的车辆数；

3g)计算评估网络的损失函数，根据梯度下降方法更新评估网络参数θ_i，每隔50步，目标网络参数

3h)将当前迭代次数t与迭代次数上限T进行比较，判断迭代是否停止：

若tT，完成对城市路网交通灯的控制；否则，返回3c)。

2.根据权利要求1所述的方法，其特征在于：3a)中第i个路口的评估网络和目标网络，实现如下：

3a1)由两个卷积层和两个全连接层组成评估网络，评估网络参数用θ_i表示；

3a2)设置结构与评估网络相同、参数不同的目标网络，目标网络参数用表示；

3a3)定义评估网络的损失函数MSE如下：

其中，m为批次大小，θ_i为评估网络参数，表示目标网络参数，为状态下所有动作的评估网络最大输出值，为评估网络的输出值。