[发明专利]基于多智能体近端策略优化算法的区域信号灯控制方法

说明书

本发明公开了基于多智能体近端策略优化算法的区域信号灯控制方法，该方法包括以下步骤：将交通流量信息分别输入各自交叉口的策略网络；将区域中的多个交叉口配时方案进行数组合并；获取全局的交通流量状态和配时方案集合进行数组合并；将新的全局状态集合输入到价值网络；将局部交通流量信息输入到更新后的策略网络中；利用全局与局部交通流状态、配时方案集合、重要性采样及熵值计算策略网络的损失函数和价值网络的损失函数；优化策略网络和价值网络参数；通过不断的迭代，价值函数鼓励策略函数学习到最好的配时方案；输出不同时刻中配时方案秒数。本发明通过增加其他交叉口的配时方案有效的提高每个交叉口相互之前的协作。

技术领域

本发明涉及信号灯控制领域，具体来说，涉及基于多智能体近端策略优化算法的区域信号灯控制方法。

背景技术

信号灯，也称交通信号灯，是一种交通管理设施，用于指示行人和车辆何时可以通行或停止。它通常由红、黄、绿三个颜色的信号灯构成，在道路交通中广泛应用。红灯表示停止，黄灯表示警告，绿灯表示行驶。

随着社会经济的持续发展和城市化进程加速，机动车保有量不断增加。而与此同时，城市交通道路的建设却没能跟上机动车保有量的快速增长，城市路径网络瓶颈限制了城市内部出行效率的提高，这是城市交通拥堵问题的主要根源之一。

对于城市交通拥堵日益显著的情况下，主要是三点问题：

1、道路宽度过窄，不能满足车辆通行需求，容易堵塞交通；道路布局不合理，如拥堵区域道路设计繁琐、走廊式交通流未得到合理的引导等，使车辆交错穿插，浪费了很多时间；路面的坡度、高低之间的起伏变化不尽人意，直接影响行车稳定性和效率。

2、占用非机动车道、行人道等造成通行障碍；违反停车规定将车辆随便停在道路边缘或者商店门前，尤其是一些交叉口人流量大的地处更是会对路面交通秩序有巨大影响；逆向行驶、压线超车、超速行驶等恶劣行为，严重影响交通流畅程度，也极易导致交通事故的发生。

3、红绿灯时长设置不合理。当某个方向交通流量大或者某个十字路口易于产生冲突，则需要调整红绿灯时长；无信号灯或信号灯损坏。一些道路交通量较小的交叉口缺乏信号灯，导致交通通畅度降低；如果遇到灯损坏且及时未予修复，则易发生交通事故。

当前信号灯控制不合理中，对于某个交叉口的设计，有较好的传统方法进行合理化，但对于区域中不同交叉口如何配合最大化疏通车流量，目前算法比较匮乏或者优化效果较差。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出基于多智能体近端策略优化算法的区域信号灯控制方法，以克服现有相关技术所存在的上述技术问题。

为此，本发明采用的具体技术方案如下：

基于多智能体近端策略优化算法的区域信号灯控制方法，该区域信号灯控制方法包括以下步骤：

S1、获取每个交叉口的交通流量信息；

S2、将交通流量信息分别输入各自交叉口的策略网络，得到多个交叉口的配时方案；

S3、将区域中的多个交叉口配时方案进行数组合并，得到配时方案集合；

S4、获取全局的交通流量状态和配时方案集合进行数组合并，得到新的全局状态集合；

S5、将新的全局状态集合输入到价值网络，并通过价值网络的计算，得到对整体交通路网和每个交叉口配合的配时方案评价；

S6、将局部交通流量信息分别输入到更新前的策略网络与更新后的策略网络，分别得到两个配时方案的概率分布，将其做比值，通过不断的采样，更新前的策略概率分布会越来越接近更新后的策略概率分布，从而得到配时方案的重要性采样；