[发明专利]一种基于多智能体协作的多模式交通干线信号协调控制方法及装置

权利要求书

1.一种基于多智能体协作的多模式交通干线信号协调控制方法，其特征在于，包括如下步骤：

(1)获取交通干线交叉口信息和多模式交通流量模式，根据以上数据使用仿真软件对多模式交通干线进行仿真标定，还原多模式交通流量到达率；

(2)对干线中的每个交叉口生成一个信号控制智能体，交通干线n个交叉口对应n个智能体，智能体i读取时刻t_k该交叉口包含多模式交通位置、排队长度、速度信息的状态将状态输入智能体i在时刻t_k时参数为的神经网络，输出交叉口智能体i在时刻t_k的动作相位其中，表示在神经网络参数下，选用动作相位a_i且状态为的情况下的价值函数，简称Q值，A_i表示在交叉口i可以放行的动作相位集和，a_i表示A_i中的一个动作相位；

(3)初始化干线内所有智能体的神经网络参数和经验回放池，设定训练轮数N_episode；

(4)初始化仿真的多模式交通干线流量到达率，设定初始仿真时间t₀，总仿真时间T；

(5)获取交通干线仿真中各智能体的多模式交通状态，对于智能体i，获取其对应第i个交叉口在时刻t_k的多模式交通局部观察状态其中，分别表示第i个交叉口在时刻t_k的社会车辆状态、公交状态、行人及非机动车状态，状态包括其位置、排队长度、速度信息，表示与第i个交叉口相邻的交叉口在时刻t_k的相位状态；

(6)将各智能体的局部观察状态输入其神经网络，对于智能体i，将输入神经网络后返回时刻t_k的动作相位同时返回动作相位对应的Q值其中，A_i表示交叉口i可以放行的动作相位集和，表示智能体i在时刻t_k时神经网络的参数，a_i表示A_i中的一个动作相位，Q_i(·)表示智能体i对应的神经网络Q值函数，表示智能体i的神经网络在时刻t_k的参数；

(7)将各智能体返回的动作相位在交通干线仿真的各对应交叉口信号灯中执行Δt秒，时刻变为t_k+1＝t_k+Δt，仿真环境返回多模式交通干线多智能体在时刻t_k的团队奖励值其中，k_d、k_f、k_l分别表示人均延误变化量权衡系数、人流通过量权衡系数和排队长度变化量权衡系数，表示人均延误变化量，其中，和分别表示在时刻t_k和时刻t_k+1的干线多模式人均延误，表示人流通过量，即在Δt期间通过交通干线的总人数，表示排队长度变化量，其中，和分别表示在时刻t_k和时刻t_k+1的交通干线排队人数；

(8)重复步骤(5)获取时刻t_k+1各智能体的多模式交通状态将保存至经验回放池，其中，表示多智能体在时刻t_k的团队奖励值，和分别表示时刻t_k和时刻t_k+1的全局状态列表，其中，表示第n个智能体在时刻t_k执行的状态，其中，表示第n个智能体在时刻t_k+1执行的状态，表示在时刻t_k所有智能体选择的动作列表，其中，表示第n个智能体在时刻t_k执行的动作；

(9)判断是否达到预设仿真时间，若t_k+1≥T，进入步骤(10)，否则返回步骤(5)迭代；

(10)从经验回放池中随机采样N对数据，根据损失函数使用梯度下降更新各智能体神经网络参数，其中，θ_all表示所有智能体的神经网络参数，表示多智能体协作的全局奖励函数，其中，k_b表示交叉口b的权衡系数，n表示智能体的个数，θ_b表示智能体b的神经网络参数，目标奖励值其中，γ表示衰减系数，u_all表示所有智能体的动作集合；

(11)判断更新次数否达到预设训练轮数N_episode，如果未达到预设训练轮数N_episode，返回步骤(4)循环迭代，如果达到预设训练轮数N_episode，输出基于多智能体协作训练的多模式交通干线各交叉口的智能体。