[发明专利]基于状态和动作价值网络的列车推荐速度曲线生成方法

说明书

本发明提供了基于状态和动作价值网络的列车推荐速度曲线生成方法，包括：设计对应性能指标的奖励函数，每幕的运行能耗模型构建转换为速度面积和惰行工况占比问题，根据实际速度与平均速度面积差和惰行工况在全线路的占比综合评估能耗水平；在DQN训练过程中，拆分状态价值和动作价值网络，增强神经网络记忆结果的准确性，训练后期根据模型收敛情况，建立输出结果与参与后续训练的概率关系。本发明的方法能够有效解决复杂的能耗指标测量评估问题并应用DQN算法强大的自主学习能力提升ATO控制器智能化水平。

技术领域

本发明属于城市轨道交通技术领域，具体涉及基于状态和动作价值网络的列车推荐速度曲线生成方法。

背景技术

近年来，随着城市轨道交通运营里程和客运量不断攀升，节能减排压力随之增大，列车推荐速度曲线优化作为降低牵引能耗的主要方法，以及在实际线路运营中作为ATO系统控制器的跟踪目标，指导列车运行。因此，如何生成一条节能、安全、高效、舒适的曲线成为了众多学者关注的重点。工程中曲线的生成主要依赖于ATP曲线约束和人类经验判断。从已有研究成果来看，列车速度曲线优化与运行控制等方面已经开展了大量的理论与技术研究工作，主要包括利用极大值原理进行数学推导的解析法、将优化目标函数作为适应度函数进行种群迭代的遗传算法和蚁群算法等进化算法以及与计算机科学结合的动态规划、人工智能等数值法。

工程中曲线的生成主要依赖于ATP曲线约束和人类经验判断，受人为因素影响大。现有的基于极大值原理进行数学推导的解析法面对复杂线路条件通常需要简化模型计算，且算法求解难度高；进化算法容易陷入局部最优解的困境；人工智能神经网络的方法在实际应用中收敛速度通常难以达到预计水平，且如何根据优化目标的性能指标设计合适的奖励函数也直接影响神经网络的优劣和收敛情况。

发明内容

本发明旨在提供基于状态和动作价值网络的列车推荐速度曲线生成方法，用于解决以上问题。

本发明的技术方案是：

基于状态和动作价值网络的列车推荐速度曲线生成方法，包括以下步骤：

步骤1：在JavaScript环境下开发DQN，设计各部分组成模块，设置所需的环境参数和性能指标，划分动作、状态空间，设置神经网络的相关参数并开启GPU使用，确定探索策略，输入经验池的变量，DQN的损失函数及辅助模块的结果展示；

步骤2：分析列车运行曲线性能指标设计奖励函数，将奖励函数中的牵引能耗模型构建转换为探索速度面积与平均速度面积差值和惰行工况在全线路的占比问题，共同评估能耗，从而评价动作；

步骤3：对神经网络进行训练，将神经网络拆分为状态价值(sv)网络和动作价值(qv)网络，实际动作价值设置为“状态价值”与“动作价值修正值”加权，根据ε-greedy的探索策略选择输出动作；

步骤4：随着神经网络的训练迭代，模型逐渐朝最优方向收敛，根据训练后期模型的收敛情况建立探索结果与后续训练的概率关系，并在训练完成后输出最优推荐速度曲线。

优选地，步骤1的具体步骤如下：

步骤101：在JavaScript环境下开发DQN，构建功能模块：环境模块、奖励模块、神经网络模块、探索模块、经验池模块、训练模块，辅助模块；

步骤102：配置环境模块，分成运行环境静态数据和列车性能固定参数两部分；其中运行环境静态数据包括线路长度、计划运行时间、线路限速、线路坡度及曲线半径，列车性能固定参数包括列车质量、最高时速、基本阻力参数、牵引制动特性；

步骤103：构建奖励模块，奖励值采取百分制，总奖励值为各个指标的奖励根据之和，指标包括牵引能耗、实际运行时间与计划运行时间偏差、精确停车；