[发明专利]基于启发式深度Q网络的交通灯控制方法

说明书

本发明公开了一种基于启发式深度Q学习的多路口交通信号控制方法，主要解决现有方法中的训练数据有相关性、交通灯控制策略不能快速收敛和控制效率低的问题。其方案是：读取城市交通路网信息，建立各个路口的车辆交通状态集合，并将读取的城市交通路网信息转换为邻接矩阵进行存储；从各个路口车辆交通状态集合中，获取各个路口状态集、动作集和动作奖励值；根据状态集、动作集、动作奖励值和邻接矩阵，利用启发式深度Q网络方法根据每个路口的状态不断地执行动作获取奖励再到下一状态，实现对城市路网交通灯进行控制。本发明能提高对路口交通信号灯的控制效率，改善了多路口交通信号控制器的性能，可用于城市交通管理，减少城市交通拥堵。

技术领域

本发明属于智能交通控制领域，特别涉及一种交通灯控制方法，可用于城市交通管理，减少城市交通拥堵。

背景技术

在城市智能交通控制领域，深度学习和强化学习是目前很热门的研究方向，并取得了不错的成效。强化学习是通过与城市道路环境的不断交互获取环境状态来学习最优的交通控制策略，形成城市交通的自适应控制系统。然而由于城市道路环境复杂度的提高会导致其在获取先验知识过程中，状态-动作空间的维度急剧增长。为解决此类问题，强化学习与深度学习结合形成的深度强化学习DRL同时利用深度学习的感知能力和强化学习的决策能力，对高维输入进行处理，表现出了良好的效果。深度学习可以从高维数据中提取判别信息，在大数据推理与机器学习研究方向具有良好的表现。将深度学习方法应用于自适应交通信号控制问题已经成为国内外研究的热点，可以进一步优化现有的交通信号控制方法，同时利用多智能体系统，结合实际的复杂路网情况分析多路口之间的协作关系，实现多路口交通信号控制。

强化学习通过状态、动作和奖励与环境进行交互，其主要由智能体和环境组成。强化学习RL的模型如图2所示。RL通过不断的试错，从环境中获取奖励值，根据奖励值来改进智能体的动作选择，以获取最大的奖励。一个强化学习任务在满足马尔可夫性时被称作马尔可夫决策过程MDP，马尔可夫决策过程定义为如下所示五元组：其中i,j∈S,a∈A_i。

式中，S表示环境状态空间的集合；i和j分别表示状态集中的一个状态，A_i表示agent在状态i的动作集；表示在状态i下采取动作a转移到状态j的转移概率，状态转移函数为T:S×A→Π(S)；表示采取动作a从状态i转移到状态j的奖励值；γ为折扣因子，它控制着即时奖励和未来奖励的重要程度，γ∈[0,1]。在每个迭代次数t，agent从环境中感知状态s_t∈S，并选择一个执行动作a，采取行动后根据状态转移概率转移到下一个状态s_t+1∈S，然后观察获取奖励值r_t。马尔科夫性指agent的下一个状态仅与当前状态有关，而与历史状态无关。

深度学习DL通过将机器要学习的事务转换成数据，然后建立一个多层神经网络模型不断地训练这些数据，直到得到的结果满足要求，保留这个模型的各项参数，否则，继续调整网络的参数设置，直到输出满足要求为止，是一种新的机器学习方法。主要用于处理一些大数据问题，包括文字、图像、视频、语音等多种类型数据。

深度学习通过堆叠多个层，将前层特征通过神经网络处理，组合成更加抽象的后层来表示数据中隐藏的类别或特征，即将上一层输出作为下一层的输入，以发现数据的分布式特征表示，与其他的机器学习方法相比，深度学习注重模型结构的深度，通过逐层特征变换，从高维数据中学习特征，获取更多的内在信息，它的主要优点包括可以获取更高的准确率，可以更好的适应不同的领域和应用，不需要复杂的特征工程。

Wiering等人使用多智能体强化学习算法来学习交通信号控制，即交通控制TC1方法，以最大程度地减少城市中汽车的总体等待时间，选择的交通信号是通过累计所有汽车的预计等候时间来设置的，但是该算法需要一个中心服务器来控制每个路口的交通信号，由于城市交通的动态性、复杂性和不确定性，服务器并不能做出及时的交通控制。