[发明专利]一种基于改进DQN算法的航班着陆调度方法

权利要求书

1.基于改进DQN算法的航班着陆调度方法，其特征在于将传统DQN算法的输出转化为具体的飞机着陆时间，该方法包括以下步骤：

步骤一：构建着陆成本模型，该模型包括各飞机的机型、最佳着陆时间、最迟着陆时间、最早着陆时间、实际着陆时间、延误着陆成本、提前着陆成本；

步骤二：构建深度强化学习的智能体，包含用来预测的Q神经网络与用来当做训练目标的targetQ神经网络，两个网络的输入都为各个飞机的机型、最佳着陆时间、最迟着陆时间；

步骤三:根据上一步的输出，使用防碰撞算法计算出每架飞机的具体着陆时间，并按上述计算的具体着陆时间计算着陆总成本；

首先针对飞机及机场信息建立着陆成本模型，为智能体提供训练环境：

步骤一中的着陆成本模型中包括飞机编号PN、飞机类型PT、最佳着陆时间MF、最迟着陆时间ML、最早着陆时间ME、实际着陆时间AL、提前着陆成本EC、延误着陆成本LC；

着陆总成本的计算方法为：每架飞机实际着陆时间AL与最佳着陆时间MF的差与单位时间提前着陆成本EC和单位时间延误着陆成本LC的乘积和；

计算公式：

其中i表示各架提前着陆的飞机序号，j表示各架延误着陆飞机序号，时间的单位是分钟min，成本的单位是元每分钟￥/min；步骤四：根据上一步的输出，将着陆顺序和总成本传递给着陆成本模型，着陆成本模型根据着陆顺序和总成本返回一个回报给智能体；

所述步骤二中：

首先，本方法选择深度强化学习算法DQN，在DQN中状态和动作被当做神经网络的输入，然后通过神经网络输出后得到动作的Q值。

2.根据权利要求1所述基于改进DQN算法的航班着陆调度方法，其改进之处在于利用防碰撞算法将DQN算法的输出转化为具体着陆时间，具体过程如下：

在改进DQN算法中使用DQN输出飞机排序的序号，然后对已排好序的飞机进行防碰撞处理；按照排好序的飞机逐个计算实际着陆时间，对于顺序在第一位的飞机，直接将其最佳着陆时间赋值给实际着陆时间，其后的每架飞机P1也先尝试将其最佳着陆时间赋值给实际着陆时间t1；

如果P1与之前计算过着陆时间的某飞机P2着陆时间t2不符合最小安全距离的规则，则按如下规则调整P1、P2两架飞机的具体着陆时间，假设此时t1t2且(t2-t1)d1，其中d1为P2先着陆情况下P1与P2的最小安全着陆时间距离，d2则为P1先着陆情况下P1与P2的最小安全着陆时间距离；

A:首先确定P1、P2两架飞机着陆时间的可调整范围，即P1、P2飞机在不触犯与其他飞机最小安全距离的情况下的可行的着陆时间范围；

B:计算四种情况下的P1、P2两架飞机着陆成本和：情况1:P1着陆时间不变，P2按照最小安全着陆时间距离d2向后推迟，即t1＝t1，t2＝t1+d2；情况2:P2着陆时间不变，P1按最小安全着陆时间距离d1向后推迟，即t2＝t2，t1＝t2+d1；情况3:P1着陆时间推迟同时P2着陆时间提前，此时t1＝Max(T,E,t2-d2),t2＝t1+d2，其中T为在P1、P2之前最近着陆飞机着陆安全完成后的时间，E为P1最早着陆时间；情况4:P2提前着陆同时P1延迟着陆，此时t2＝Max(T,E,t1-d1),t1＝t2+d1；

C:取上述四种情况下，两架飞机着陆成本最小的情况，即Min(S_1,S_2,S_3,S_4)；

如果按照以上四种方式安排后仍然出现与其他飞机不满足最小安全距离的情况，则将后来的飞机安排在已安排的飞机安全着陆时间后降落，即实际着陆时间依次往后顺延。