[发明专利]交叉口交通信号控制方法和设备

说明书

本发明涉及一种交叉口交通信号控制方法，该方法能够根据交通状态，通过环境反馈进行学习，从而实现对交通信号的自适应控制。该方法包括：定义系统参数；建立Action网络和Critic网络；初始化控制器；根据系统状态得到相应系统控制参数；根据状态和动作得到性能指标；交替训练Critic网络和Action网络；达到训练目标之后记录网络权值；以及使用训练好的Critic网络和Action网络进行在线控制。本发明利用ADHDP方法对交叉口交通信号的自适应控制提供了一种有效途径。

技术领域

本发明涉及城市交通信号控制领域，具体涉及一种交叉口交通信号控制方法和设备。

背景技术

随着中国经济的高速增长以及城市化进程的加快，大量人口涌入城市，交通设施兴建和改善的速度远远赶不上人们日益增长的交通需求，交通拥堵问题日益突出。

交通拥堵问题出现的原因是多方面的，除去交通设施不充足、交通规划不合理以及公众交通意识淡薄等因素外，一个很重要的因素是现有的城市交通信号控制系统并未充分发挥作用。由于城市交通问题的特殊性，难以建立起精确的数学模型。简单的定时控制、感应控制方法很难适应越来越复杂的交通状况。

自适应动态规划(ADP)理论融合了动态规划、强化学习以及函数逼近等方法，其利用在线或离线数据，采用函数近似结构来估计系统的性能指标函数，然后依据最优性原理来获得近似最优的控制测量。动作倚赖启发式动态规划(ADHDP)方法是一种典型的自适应动态规划方法，因其具有无模型自适应的特点，能够满足系统参数变化频繁，实时性要求较高，难以建立精确模型的城市交通系统的控制要求。

发明内容

本发明的一个方面提供了一种用于交叉口交通信号控制的ADHDP控制器离线训练方法，该ADHDP控制器包括Action网络和Critic网络，该方法包括：在步骤S1，定义系统状态、回报函数、绿信比和系统控制参数；在步骤S2，建立Action网络和Critic网络，其中：Action网络为具有一个隐层的BP神经网络，其中输入层神经元个数为P，输出层神经元个数为P-1，隐层的神经元个数为Ma，Ma为经验值；以及Critic网络为具有一个隐层的BP神经网络，其中输入层神经元个数为2P-1，输出层神经元个数为1，隐层的神经元个数为Mc，Mc为经验值；在步骤S3，初始化ADHDP控制器，包括：初始化Action网络权值和初始化Critic网络权值；在步骤S4，在每个控制周期结束前，获取系统状态，输入至Action网络，输出相应系统控制参数u(k)，将系统控制参数u(k)输出至仿真软件以指导下一个周期的运行；在步骤S5，将系统状态S(k)和系统控制参数u(k)输入至Critic网络，输出性能指标J(k)；在步骤S6，交替地根据性能指标和回报函数训练Critic网络以及根据性能指标训练Action网络，以更新Critic网络的权值和Action网络的权值；以及在步骤S7，判断是否达到预期设定的目标：当达到预期设定的目标时，在步骤S8，离线训练结束，记录最终的Action网络的权值和Critic网络的权值；否则，返回步骤S6继续训练。

本发明的另一个方面提供了一种使用根据以上方法训练的ADHDP控制器来在线控制交叉口交通信号的方法，包括：分别以最终的Action网络的权值和Critic网络的权值初始化Action网络和Critic网络；将在线系统的实时交通数据输入到ADHDP控制器；以及根据步骤S1中的定义，从在线系统的实时交通数据得到系统状态，将系统状态输入Action网络，将Action网络的输出作为系统控制参数，用于控制路口交通信号。