[发明专利]基于深度强化学习的城市轨道交通列车时刻表优化方法

说明书

本发明公开了一种基于深度强化学习的城市轨道交通列车时刻表优化方法，具体为：建立基本数据模块；建立列车牵引能耗计算模块，包括神经网络能耗拟合模块与时间‑能耗曲线拟合模块；神经网络能耗拟合模块使用线路数据和列车速度数据作为输入量，使用实测的能耗数据作为期望输出量，经过学习训练，确定与最小误差相对应的网络参数；时间‑能耗曲线拟合模块使用实测速度曲线和训练后的网络，对能耗进行拟合获得时间与能耗的关系曲线；列车区间运行时间优化模块采用深度强化学习算法，综合考虑列车全线能耗、乘客旅行体验和运营管理要求，设计目标函数，通过调整各个区间的运行时间，最大化该目标函数的值。本发明方法具有科学、精确、可靠的优点。

技术领域

本发明涉及城市轨道交通技术领域，特别是一种基于深度强化学习的城市轨道交通列车时刻表优化方法。

背景技术

随着我国经济的快速发展以及城市化的进程不断加快，城市人口急剧增加，人们对城市交通的需求量也不断提升。城市轨道交通作为一种新型交通方式，因具有运量大、准点率高、安全可靠、节能环保等优点，受到世界各国人们的青睐。在城市轨道交通快速发展的同时，其运行维护成本非常大，尤其足以线路耗电费用最为严重，具有较大的节能潜力。通过调整单区间的速度曲线、调整各个区间的运行时间以达到降低地铁列车能耗的效果，已经成为轨道交通领域研究的热点。

现有的地铁列车的节能策略的研究仍存在一定的问题，存在以下不足：

(1)现有的地铁列车仿真大多是对列车进行动力学建模，利用该模型对列车只在单区间内的速度曲线进行优化，然而由于难以进行精确建模，以及列车可能无法按照指定的速度曲线来运行，仿真得到的能耗与实测能耗差距较大；

(2)现有多区间的运行时间的调整多采用遍历或者动态规划等算法，当站点较多或者调整精度要求较高时，容易出现维度灾难的问题。

(3)现有的多区间运行时间的调整大多只考虑能耗的降低，而很少考虑地铁公司的运营管理要求以及乘客的旅行体验，导致得出的优化方案缺乏实用价值。

发明内容

本发明的目的在于提供一种科学、精确、可靠的基于深度强化学习的城市轨道交通列车时刻表优化方法。

实现本发明目的的技术解决方案为：一种基于深度强化学习的城市轨道交通列车时刻表优化方法，包括以下步骤：

步骤1，建立基本数据模块，包括线路数据模块、列车运行数据模块、地铁运营数据模块、优化参数模块；

步骤2，建立列车牵引能耗计算模块，包括神经网络能耗拟合模块与时间-能耗曲线拟合模块；

步骤3，使用神经网络能耗拟合模块，将线路数据和列车速度数据作为输入量，使用实测的能耗数据作为期望输出量，通过调节网络参数取值，使误差沿梯度方向下降，经过反复学习训练，确定与最小误差相对应的网络参数；

步骤4，使用时间-能耗曲线拟合模块，用实测速度曲线和训练后的网络，对对应的能耗进行拟合，并获得时间与能耗的关系曲线；

步骤5，使用列车区间运行时间优化模块，采用深度强化学习算法，综合考虑列车全线能耗、乘客旅行体验和运营管理要求，设计目标函数，通过调整各个区间的运行时间，最大化该目标函数的值。

本发明与现有技术相比，其显著优点是：

(1)使用神经网络，基于实测数据对不同区间运行时间下列车运行能耗进行拟合，拟合所用的速度曲线是列车实际运行得到的数据，可以确保列车可以按该速度曲线运行，且拟合的误差较小；

(2)将深度强化学习算法应用到各区间运行时间优化中，设计了双分支网络来进行决策，将列车在每个区间的运行时间调整量作为网络的输入，容错率更高，且不会出现维度灾难等问题；

(3)在区间运行时间优化的过程中，综合考虑了全线能耗、服务水平以及运营管理要求，更具实际应用价值。