[发明专利]一种基于强化学习的匝道信号控制优化方法和系统

说明书

本发明公开了一种基于强化学习的匝道信号控制优化方法和系统，包括：匝道交叉口优化控制步骤，通过单点自适应控制检测道路上的实时交通流，上位机根据所述实时交通流选择匝道信号控制方案，建立SARSA信号控制模型；模型参数标定步骤，获取车辆跟驰与换道模型，对所述车辆跟驰与换道模型的参数进行标定；仿真步骤，根据预设的需求训练所述SARSA信号控制模型和标定参数后的车辆跟驰与换道模型，得到优化的匝道信号控制方案。本发明通过设计基于强化学习的快速路上匝道信号控制优化方法，并基于交通仿真的匝道控制方法验证及效果评价，使用SUMO仿真验证效果，为以后的理论研究和工程应用提供新的思路和方法。

技术领域

本发明涉及交通控制及智能交通技术领域，特别是涉及一种基于强化学习的快速路上匝道信号控制优化方法和系统。

背景技术

随着我国城市机动车保有量不断增加，快速路交通需求日益增加，因此在有限的道路条件和通行能力的限制下，需要通过优化管理与控制方法提高路网通行量。

入口匝道控制有非常大的作用：第一，可以减少整个快速道路系统内所有车辆的行程时间；第二，使交通流量均匀平滑；第三，消除或减少交汇中的冲突和事故。

现有技术具有如下缺点：已有的匝道控制方法主要面向高速公路，且存在交通模型构建、模型参数标定、依赖先验知识以及控制迟滞性等缺陷。

发明内容

本发明的目的是通过以下技术方案实现的。

第一方面提供了一种基于强化学习的匝道信号控制优化方法，包括：

匝道交叉口优化控制步骤，通过单点自适应控制检测道路上的实时交通流，上位机根据所述实时交通流选择匝道信号控制方案，建立SARSA信号控制模型；

模型参数标定步骤，获取车辆跟驰与换道模型，对所述车辆跟驰与换道模型的参数进行标定；

仿真步骤，根据预设的需求训练所述SARSA信号控制模型和标定参数后的车辆跟驰与换道模型，得到优化的匝道信号控制方案。

进一步地，所述建立SARSA信号控制模型，包括：

(1)回合设置：以每一信号周期为一步，以五个周期为一回合；

(2)行为空间建立：周期优化、绿信比优化；

(3)状态空间建立：选信号周期结束时的主线上游车辆数、匝道车辆数、主线下游占有率三个指标构成状态空间，对占有率做离散化处理；

(4)行为选择机制，取消贪婪的探索机制；

(5)奖赏函数：以一周期内路网中车辆平均运行速度为奖赏。

进一步地，利用粒子群算法和NGSIM数据集提供的数据对所述车辆跟驰与换道模型的参数进行标定。

进一步地，所述粒子群算法包括如下步骤：

初始化每个粒子的位置与速度；

计算各粒子适应度；

更新个体最优和群体最优；

更新各个粒子的速度和位置；

判断是否符合终止条件，如果是则结束，如果否则返回计算各粒子适应度的步骤。

进一步地，速度和位置的迭代公式为：