[发明专利]一种基于深度强化学习的交通信号自适应控制方法

说明书

本发明涉及交通控制及人工智能技术领域，一种基于深度强化学习的交通信号自适应控制方法，包括以下步骤：(1)定义交通信号控制agent、状态空间S、动作空间A和回报函数r，(2)深度神经网络的预训练，(3)使用深度强化学习方法对神经网络进行训练，(4)依据训练好的深度神经网络进行交通信号控制。通过对磁感、视频、RFID和车联网等采集到的交通数据进行预处理，获取包含车辆位置信息的交通状态的低层表示；其次，通过深度学习的多层感知器对交通状态进行感知，得到当前交通状态的高层抽象特征；在此基础上利用强化学习的决策能力依据当前交通状态的高层抽象特征选择合适的配时方案，实现交通信号自适应控制，以减少车辆旅行时间，确保交通安全、畅通、有序和高效地运行。

技术领域

本发明涉及一种基于深度强化学习的交通信号自适应控制方法，属于交通控制及人工智能技术领域。

背景技术

随着汽车保有量的增加，交通拥堵已经成为困扰我国经济发展的一个难题，2016年，因交通拥堵造成的人均经济损失达到8000元。同时也带来了能源问题、交通安全问题和环境问题。解决交通拥堵有两种方案，增加交通基础设施建设和发展先进的交通控制系统。而城市土地资源紧张有限，单纯依靠增加交通基础设施不能解决问题，因此要更加注重优先发展先进的交通控制系统。当前，主流的交通控制系统有TRANSYT、SCOOT和SCAT等，这些控制系统根据交通流量、排队长度、车道占有比等传统交通参数对交通信号灯的配时进行优化。我们认为传统交通参数对交通状态的描述是片面的、不准确的。如排长队只描述了静止车辆的数量信息，而忽略了它们的位置信息和所有运动车辆的信息；交通流量描述了过去一段时间车辆的通过信息，而对当前交通状态的刻画上也是不准确的。因此基于传统交通参数的信号配时方案也是滞后的，甚至是错误的，有时不但不会缓解交通，甚至还会加重交通拥堵的发生。

近年来，深度学习作为机器学习领域的一个重要研究热点，已经在图像分类、语音识别、自然语言处理、视频分类等领域取得了令人瞩目的成功。深度学习的思想是通过多层的网络结构和非线性变换，组合低层特征，形成抽象的、易于区分的高层表示，以发现数据的分布式特征表示。因此深度学习侧重于对事物的感知。强化学习作为机器学习领域另一个研究热点，被广泛应用于工业制造、仿真模拟、机器人控制、优化调度、游戏博弈等领域，它的基本思想是通过最大化智能体(Agent)从环境中获得的累计奖赏值，以学习到完成目标的最优策略，因此强化学习侧重于学习解决问题的策略。Google公司的DeepMind人工智能研究团队创造性地将这两种技术结合起来，形成了人工智能领域新的研究热点，即深度强化学习，并在许多具有挑战性的领域构建实现了人类专家级别Agent。2016年，人工智能围棋程序AlphaGo战胜人类代表李世石，标志着人工智能的智能水平达到了一个新的高度。AlphaGo使用的核心技术就是深度强化学习。深度强化学习以一种通用的形式结合了深度学习的感知能力和强化学习的决策能力，通过端到端的学习方式能够实现从原始输入到输出的直接控制。目前深度强化学习在游戏、机器人控制、机器视觉等领域已得到了广泛的应用。

发明内容

为了克服现有技术中存在的不足，本发明目的是提供一种基于深度强化学习的交通信号自适应控制方法。该方法是通过深度学习的多感知器对当前交通状态特征进行高层抽象表征，实现交通状态精确感知。在此基础上通过强化学习制定有效的交通信号控制策略，解决了传统交通信号控制系统对交通状态感知不全面、信号控制策略制定不准确的不足，实现了路口交通信号的自适应控制。

为了实现上述发明目的，解决已有技术中存在的问题，本发明采取的技术方案是：一种基于深度强化学习的交通信号自适应控制方法，包括以下步骤：

步骤1、定义交通信号控制Agent、状态空间S、动作空间A和回报函数r，具体包括以下子步骤：