[发明专利]一种基于DQN强化学习的列车姿态控制方法

权利要求书

1.一种基于DQN强化学习的列车姿态控制方法，其特征在于，包括：

实时获取车辆的姿态参数；

根据车辆的姿态参数确定车辆当前所属的运行状态；

根据车辆当前所属的运行状态以及目标运行状态，基于DQN算法模型，生成用于使得车辆平稳运行的减振控制指令；

根据所述减振控制指令对车辆运行姿态进行实时调整；

其中，车辆姿态参数为：转向架垂向振动加速度、速度信息；

车辆运行状态有六种，分别为加速启动运行状态、既有线平稳运行状态、既有线切换高速线运行状态、高速线平稳运行状态、高速线切换既有线运行状态和制动 减速运行状态；

所述车辆的姿态参数包括车辆的振动加速度；相应地，根据车辆的姿态参数确定车辆当前所属的运行状态，具体包括：

根据车辆的振动加速度，确定车辆运行姿态的特征值；所述特征值包括峭度、峰值、裕度、波形、脉冲和偏态；

根据车辆运行姿态的特征值，确定车辆当前所属的运行状态；

其中，车辆当前所属的运行状态包括：加速启动运行状态、既有线平稳运行状态、既有线切换高速线运行状态、高速线平稳运行状态、高速线切换既有线运行状态和制动减速运行状态中的一种；

所述目标运行状态为高速线平稳运行状态；

相应地，根据车辆当前所属的运行状态以及目标运行状态，基于DQN算法模型，生成用于使得车辆平稳运行的减振控制指令，具体包括：

确定车辆六种运行状态的可达性矩阵；

根据车辆六种运行状态的可达性矩阵以及预设分析数据，确定车辆六种运行状态的状态转移概率矩阵；

根据使得车辆平稳运行的控制需求，设定车辆六种运行状态的状态转移奖励矩阵；

根据车辆当前所属的运行状态、目标运行状态、状态转移概率矩阵和状态转移奖励矩阵，按照第一关系模型，确定最大奖励值对应的状态转移路径以及该状态转移路径对应的减振控制指令；

其中，第一关系模型包括：

其中g_t表示未来奖励期望，E(G_t|S_s＝S)表示未来奖励期望函数表达式,R_t+1表示下一时刻奖励，γR_t+2表示再下一时刻奖励，表示未来奖励期望运算方程式，h表示时间序列；

v_π(s)＝E_π(g_t|S_t＝s)

其中，V_π(s)表示车辆姿态值函数，g_t表示未来奖励期望，S_t表示当前车辆姿态变量，s表示当前车辆实际姿态数据，S_t＝s表示当前车辆姿态为s，E_π(g_t|S_t＝s)表示在控制策略π下当前车辆姿态值函数；

q_π(s,a)＝E_π(g_t|S_t＝s,A_t＝a)

其中，q_π(s,a)表示控制器的动作值函数，g_t表示未来奖励期望，S_t＝s表示当前车辆姿态为s，A_t＝a表示当前动作，在这里指减振器阻尼力控制指令，E_π(g_t|S_t＝s,A_t＝a)表示当前车辆姿态为s，输出阻尼力控制指令为a时的动作值函数；

其中，q_π(s_i,a_i)表示控制器的减振控制指令值函数，s_i表示车辆姿态，a_i表示给出的减振控制指令，R表示当前车辆姿态下输出减振控制指令的奖励值，表示在a_i指令下出现状态s_i的奖励值，γ表示平衡因子取值范围为[0,1]，表示a_i减振控制指令下，由s_i到s_j的状态转移概率矩阵，π(a_i|s)表示当前控制策略下给出减振控制指令的a_i的概率，π(a_j|s)表示当前控制策略下给出减振控制指令的a_j的概率。