[发明专利]一种基于DQN强化学习的列车姿态控制方法

说明书

本发明实施例提供一种基于DQN强化学习的列车姿态控制方法，方法包括：实时获取车辆的姿态参数；根据车辆的姿态参数确定车辆当前所属的运行状态；根据车辆当前所属的运行状态以及目标运行状态，基于DQN算法模型，生成用于使得车辆平稳运行的减振控制指令；根据所述减振控制指令对车辆运行姿态进行实时调整；本发明实施例通过实时获取车辆的姿态参数确定车辆当前运行状态，生成可以使车辆平稳运行的减振控制指令，对车辆的一系垂向减振器的实时控制，可以达到主动指导可控减振器作动的效果，解决车辆在途运行过程中车辆转向架的垂向平稳性问题，进而以保持在途运行车辆持续平稳运行的目的。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于DQN强化学习的列车姿态控制方法。

背景技术

近些年，为了满足人们对旅行时间和速度的要求，我国的轨道运输干线已经进行了几次大规模的提速。轨道车辆(或车辆)运行的速度总是和车辆的振动紧密相联，速度的提升必然会给车辆运行性能带来一系列的负面效应，比如车辆振动的加剧、乘客乘坐的舒适度、稳定性和安全性越来越达不到人们的要求。

目前，轨道车辆的振动主要依赖一系和二系悬挂进行削弱，而悬挂系统的控制方式主要有被动、半主动和主动这三种悬挂形式。被动悬挂系统具有结构简单，成本低廉的特点，但是其减振效果受限于机械的减振方式；半主动悬挂系统虽然也能根据激励性质控制阻尼力的大小，但减振效果也较一般存在一定的不可观性；主动控制悬挂系统在车辆减振方面表现得更为出色，但目前业界暂未提出较佳的解决方案。

发明内容

针对现有技术中的问题，本发明实施例提供一种基于DQN强化学习的列车姿态控制方法。

具体地，本发明实施例提供了以下技术方案：

第一方面，本发明实施例提供了一种基于DQN强化学习的列车姿态控制方法，包括：实时获取车辆的姿态参数；

根据车辆的姿态参数确定车辆当前所属的运行状态；

根据车辆当前所属的运行状态以及目标运行状态，基于DQN算法模型，生成用于使得车辆平稳运行的减振控制指令；

根据所述减振控制指令对车辆运行姿态进行实时调整。

进一步地，所述车辆的姿态参数包括车辆的振动加速度；相应地，根据车辆的姿态参数确定车辆当前所属的运行状态，具体包括：

根据车辆的振动加速度，确定车辆运行姿态的特征值；所述特征值包括峭度、峰值、裕度、波形、脉冲和偏态；

根据车辆运行姿态的特征值，确定车辆当前所属的运行状态；

其中，车辆当前所属的运行状态包括：加速启动运行状态、既有线平稳运行状态、既有线切换高速线运行状态、高速线平稳运行状态、高速线切换既有线运行状态和制动减速运行状态中的一种。

进一步地，所述目标运行状态为高速线平稳运行状态；

相应地，根据车辆当前所属的运行状态以及目标运行状态，基于DQN 算法模型，生成用于使得车辆平稳运行的减振控制指令，具体包括：

确定车辆六种运行状态的可达性矩阵；

根据车辆六种运行状态的可达性矩阵以及预设分析数据，确定车辆六种运行状态的状态转移概率矩阵；

根据使得车辆平稳运行的控制需求，设定车辆六种运行状态的状态转移奖励矩阵；

根据车辆当前所属的运行状态、目标运行状态、状态转移概率矩阵和状态转移奖励矩阵，按照第一关系模型，确定最大奖励值对应的状态转移路径以及该状态转移路径对应的减振控制指令；

其中，第一关系模型包括：