[发明专利]一种基于PPO和图卷积神经网络区域交叉口信号控制方法

说明书

本发明公开了一种基于PPO和图卷积神经网络区域交叉口信号控制方法，包括以下步骤：构建交叉口协调控制区域并确立强化学习的状态、动作、奖励信息和图卷积神经网络的特征矩阵；构建区域交叉口分层信号控制模型；构建回放经验池，处理和提取训练数据和测试数据；训练区域交叉口分层信号控制模型；对区域交叉口进行统筹联合控制。本发明对控制区域建立多层信号控制模型，下层模型基于PPO算法构建多智能体控制模型；上层模型基于图卷积神经网络对各个交叉口进行统筹协调控制。本发明通过构建两层控制结构，既减少了单点控制模型的运算负担，又实现了对控制区域的总体最优控制，提高了控制区域内的车辆运行效率。

技术领域

本发明涉及自适应交通信号灯协调控制领域，具体涉及一种基于PPO和图卷积神经网络区域交叉口信号控制方法。

背景技术

随着人工智能的兴起，计算机视觉技术不断完善，强化学习、图卷积神经网络等智能新算法的不断兴起，实时获取交叉口交通信息并且基于数据驱动型算法快速稳定地计算出适应性强的信号控制方案成为实现交叉口信号高效稳定控制的有效新方法。多智能体方法与边缘计算相配合减少了硬件的计算负担，使控制变得更加实时可靠。

强化学习算法在不断与环境交互中回去奖励最终自学习到一种相对较好的策略的性质很适合应用到对交叉口信号控制中，使得交叉口通过不断检测环境信息自学习到适应当前交通状态的控制策略。已有研究中，中国专利CN202010064330.2基于强化学习中的3DQN_PSER算法对交叉口进行信号控制，通过双Q网络来调整Q值的选择并使用竞争架构Q网络来微调网络结构，可以保证其应用到交叉口信号控制问题上算法具有很好的收敛性；中国专利CN202010034436.8基于深度循环Q学习构建单点交叉口信号控制算法，在模型中加入LSTM神经网络记录交叉口一段时间内的运行信息数据，考虑到交通现象形成的时间堆积性，提高了交叉口控制效率。总体来说，当前将强化学习类算法应用于交叉口信号控制领域多为单点交叉口或区域内交叉口独立控制，很少能够从整体上统筹各个独立的交叉口联合协调控制，并且交通网络具有其特定的网络拓扑结构，图卷积神经网络可以很好地应用于对区域交叉口信号灯的整体控制，目前对此方面的研究还较少。

发明内容

发明目的：为了克服上述现有技术的不足，本发明目的在于提出一种基于PPO和图卷积神经网络区域交叉口信号控制方法，构建区域交叉口分层信号控制模型，上层基于图卷积神经网络对区域交叉口从总体上进行统筹控制，下层基于PPO强化学习算法构建多智能体控制模型，降低区域控制维度，减少硬件计算负担，最终实现对区域交叉口实时高效的统筹协调控制，减少交通拥堵，提高交通网络的运行效率。

技术方案：为解决上述技术问题，本发明采用的技术方案为：一种基于PPO和图卷积神经网络区域交叉口信号控制方法，包括如下步骤：

步骤1、选择需要进行协调控制的交叉口构建交叉口协调控制区域，构建该区域的网络模型，并依此定义强化学习的状态、动作和奖励以及图卷积神经网络的特征矩阵；

步骤2、依据PPO强化学习算法和图卷积神经网络构建区域交叉口分层信号控制模型；

步骤3、构建仿真场景，运行仿真获取状态、动作和奖励相关数据存入回放经验池，并从回放经验池中提取处理数据构建训练数据集和测试数据集；

步骤4、对区域交叉口分层信号控制模型进行训练，保留经过训练的模型最终参数；

步骤5、依据训练好的区域交叉口分层信号控制模型对控制区域进行联合协同控制，对区域内各交叉口在下一阶段所要采用的信号相位进行集中管控分配。

进一步地，步骤1所述选择需要进行协调控制的交叉口构建交叉口协调控制区域，构建该区域的网络模型，并依此定义强化学习的状态、动作和奖励以及图卷积神经网络的特征矩阵，具体为：