[发明专利]一种不确定环境下的高铁列车智能调度方法及系统

权利要求书

1.一种不确定环境下的高铁列车智能调度方法，其特征在于，包括如下步骤：

步骤1：从铁路CTC系统中采集列车运行数据；

所述列车运行数据包括车次名、首发车站、终到站、途经车站、列车在各车站的计划到达时间和计划发车时间、铁路CTC系统当前时间、列车预计到站时间、列车最短安全停站时间、列车最小安全间隔时间和列车限速区段以及列车限速值；

步骤2：对步骤1采集的列车运行数据按照其所处时间划分时间窗且根据铁路CTC系统当前时间t_now确定目标时间窗，并将目标时间窗窗体内部所包含的列车确定为调度列车，并从上述列车运行数据中提取与调度列车相关的列车运行数据data_opt；

步骤3：根据各调度列车的计划到达时间T_ap和预计到达时间t_ap，确定仿真环境状态S；

将各调度列车的预计到达时间和计划到达时间代入到公式(5)计算各列车在本调度区段首发车站的晚点时间D⁰，其中表示第i辆列车在第j站的预计到达时间，表示第i辆列车在第j站的计划到达时间，由此定义仿真环境状态：

上式中，表示第i辆列车在第j站的晚点时间；和分别来自于调度列车的预计到达时间t_ap和计划到达时间T_ap；j为调度车站编号；

步骤4：利用先验调度知识对调度决策进行预筛选，确定可行调度决策集合

步骤5：从可行调度决策集合中确定最终的调度决策

步骤5-1：建立调度模型，通过调度模型对可行调度决策集合中的调度决策进行评价；

由步骤3计算的仿真环境状态S和步骤4-3计算得到的可行调度决策集合共同构成调度模型的输入数据input＝{[S，a_k]}，其中a_k表示中的第k个调度决策，对应的调度模型输出为调度决策的评价集Q_set＝{Q(S，a_k)}，其中状态动作值Q(S，a_k)表示为仿真环境状态S下的通过Q学习方法获得的第k个调度决策的评价值，其用于评估仿真环境状态S下执行调度决策a_k的好坏程度；

步骤5-2：调度模型从可行调度决策集合中选出评价值最高的调度决策作为最终的调度决策；

具体方法为：判定调度模型训练回合数k是否大于预先设定次数num，当k＜num时，调度模型利用公式(9)所示的ε-greedy策略实现对调度决策的选择，否则调度模型通过公式(10)选取使得状态动作值Q(S，a_k)最大的动作即调度决策其中模型训练回合数k用于记录仿真次数，初始值设定为0，预先设定次数num代表模型的最小训练回合数；

步骤6：根据最终的调度决策给出的列车行车顺序，利用贪心算法确定列车重调度方案；

步骤7：根据列车限速区段C_l与对应限速值C_v以及步骤6确定的列车重调度方案进行列车运行仿真，仿真结束输出仿真运行方案T_run，根据仿真运行方案T_run确定列车决策收益R，以及根据仿真运行方案T_run更新仿真环境状态得到更新后的仿真环境状态S′；

所述仿真运行方案T_run＝[T_aru，T_dru]，其中和分别表示调度列车预计到站时间和调度列车预计发站时间；再利用式(17)计算各调度列车在车站j+1的晚点时间D^j+1，利用式(18)计算列车决策收益R，利用式(19)对更新后的仿真环境状态S′进行定义；

其中，来源于仿真运行方案T_run，表示列车t_i在车站j+1的仿真到站时间；来自于data_opt，其表示列车t_i在车站j+1的计划到站时间；表示列车t_i在车站j+1的晚点时间，更新后的仿真环境状态S′中来源于D^j+1，指的是第1，2，...，n辆列车在车站j+1的晚点时间；

步骤8：根据步骤7中更新后的仿真环境状态S′确定当前车站编号j+1，再从调度列车的列车运行数据data_opt中调取在车站编号j+1的各列车的计划到达时间将S′和代入至步骤4中更新列车可行调度决策集合，更新后的列车可行调度决策集记为

步骤9：对调度模型进行训练；

将步骤7确定的列车决策收益R和更新后的仿真环境状态S′，步骤8确定的更新后的列车可行调度决策集以及步骤3中的仿真环境状态S和步骤5中的调度决策进行整合，构成数据集利用该数据集data_set和式(20)完成调度模型参数的更新；

上式中，α∈(0，1]和γ∈[0，1)分别表示调度模型的学习率和折扣率；

步骤10：提取更新后的仿真环境状态S′中的车站编号j+1，当车站编号j+1大于等于调度区段的车站总数num_train时，更新模型训练回合数k←k+1，若调度模型更新次数k大于预先设定次数num，则表示调度模型训练完成，执行步骤11，否则执行步骤3至步骤10；当车站编号j+1小于调度区段的车站总数num_train时，用更新后的仿真环境状态S′替换仿真环境状态S，即S←S′，再次执行步骤4至步骤10；

步骤11：生成最终的列车运行方案；

步骤11-1：执行步骤3至步骤7，并用步骤7确定的更新后的仿真环境状态S′替换仿真环境状态S，即S←S′；

步骤11-2：判定仿真环境状态S中车站编号j+1是否大于等于调度区段的车站总数num_train，若否，则再次执行步骤11-1，若是，则将执行过程中生成的列车重调度方案T_re整合构成整个调度区段的列车运行方案。