[发明专利]一种基于多智能体协作的多模式交通干线信号协调控制方法及装置

说明书

本发明公开了一种基于多智能体协作的多模式交通干线信号协调控制方法及装置，方法包括：多模式交通干线仿真标定与流量生成；干线各交叉口的信号控制多智能体设计；构建协作式值分解的多智能体强化学习框架；训练输出多模式交通干线各交叉口的智能体。本发明提供的方法将每个交叉口的多模式交通信号控制视为一个智能体，综合考虑了交通干线各交叉口的协作，以干线整体的人流量和延误为目标优化训练交通信号控制智能体，为道路交通管理者提供管控依据，实现交通干线整体最优的目标，提升城市道路交通服务水平。

技术领域

本发明涉及城市交通信号控制领域，具体涉及一种基于多智能体协作的多模式交通干线信号协调控制方法及装置。

背景技术

近年来，由于交通需求量的迅猛增长，致使道路拥挤堵塞、空气污染加重、运输效率下降，严重影响了城市的经济发展和市民的日常生活。为缓解交通问题，交通干线信号协调控制是城市交通管控中优选的方式，合理的干线控制方法可以有效提升车辆速度、通行效率，减少油耗和尾气排放。

传统的交通干线信号协调控制以绿波模型为主，设置干线各交叉口使用公共周期时长，以车辆停车次数、绿波带宽度、车辆延误等为优化指标，计算每个交叉口的相序和相位差。然而此类方法很大程度上限制了单个交叉口的效率，使其为干线车辆利益让步。已有研究中，中国专利已有研究中，中国专利202010793652.0通过对潮汐交通状态干线目标路段建模，以加权吞吐量为优化目标，构建了干线双向优化的模型，实现在系统通行能力最大化的基础上，车均延误最低的目标；同样的，中国专利201910092239.9根据公交车的运行轨迹，在公交优先的策略基础上，建立模型优化周期、相位差，实现社会车辆和公交的干线绿波。总体来说，现有研究偏向于干线车辆及公交的利益最大化，模型中牺牲了支路以及单点交叉口的效率，缺乏公交、行人及非机动车等多模式交通在干线的综合考量，鲜有干线的单点交叉口在多模式交通自适应控制的基础上进行协作，以实现多模式干线整体最优的微观研究。

发明内容

发明目的：为了克服上述现有技术的不足，本发明目的在于提出一种基于多智能体协作的多模式交通干线信号协调控制方法及装置，对目标干线进行多模式交通仿真标定与流量生成；设计干线各交叉口的信号控制智能体；构建协作式值分解的多智能体强化学习框架；训练输出多模式交通干线各交叉口的智能体；在单点多模式交通自适应控制基础上，考虑交通干线各交叉口的协作，实现交通干线整体最优的目标。

技术方案：为解决上述技术问题，本发明采用的技术方案为：一种基于多智能体协作的多模式交通干线信号协调控制方法，包括如下步骤：

(1)获取交通干线交叉口信息和多模式交通流量模式，根据以上数据使用仿真软件对多模式交通干线进行仿真标定，还原多模式交通流量到达率。

(2)对干线中的每个交叉口生成一个信号控制智能体，交通干线n个交叉口对应n个智能体，智能体i读取时刻t_k该交叉口包含多模式交通位置、排队长度、速度信息的状态将状态输入智能体i在时刻t_k时参数为的神经网络，输出交叉口智能体i在时刻t_k的动作相位其中，表示在神经网络参数下，选用动作相位a_i且状态为的情况下的价值函数，简称Q值，A_i表示在本交叉口i可以放行的动作相位集和，a_i表示A_i中的一个动作相位；

(3)初始化干线内所有智能体的神经网络参数和经验回放池，设定训练轮数N_episode；

(4)初始化仿真的多模式交通干线流量到达率，设定初始仿真时间t₀，总仿真时间T；