[发明专利]一种基于DDQN的自动化集装箱码头AGV调度方法

权利要求书

1.一种基于DDQN的自动化集装箱码头AGV调度方法，其特征在于，具体步骤如下：

(1)：针对自动化集装箱码头实际情况进行数据转化，综合任务信息、AGV信息及AGV充电站信息，利用数学建模方法，构建自动化集装箱码头水平运输环节AGV任务分配调度问题模型；其中：自动化集装箱码头水平运输环节AGV任务分配调度问题模型包括任务信息、AGV信息及AGV充电站信息，任务信息包括：任务编号，任务类型(LOAD、UNLOAD、NOTASK)，任务起始位置，任务目的位置和任务完成时间；AGV信息包括：AGV编号，AGV运行状态(0代表空闲、1代表因故障或调度任务而锁死)，AGV工作状态(Green代表正常工作、Orange与Red代表故障)，AGV当前电量，AGV当前位置和AGV当前任务；AGV充电站信息包括：充电站编号，充电站位置和充电站完成充电时间；

(2)：利用马尔可夫决策过程MDP，设定码头AGV调度系统环境状态集S与AGV调度动作集A，以最小化任务完成时间以及最优化AGV调度过程为目标，设定奖励反馈R，将AGV任务分配调度问题模型转变为强化学习DDQN模型；

(3)：使用python语言keras库编程将强化学习DDQN模型构建成DDQN深度强化学习神经网络模型，结合环境状态集S、动作集A与奖励反馈R构建DDQN模型中的Q网络；

(4)：使用python语言openai.gym库编程仿真DDQN模型中的外部环境变化，用于产生模拟数据，对步骤(3)的DDQN模型中的Q网络模型进行训练；

(5)：将步骤(4)训练好的Q网络模型包装为自动化集装箱码头水平运输AGV的实时在线调度系统，对码头AGV进行实时、高效任务调度。

2.根据权利要求1所述的基于DDQN的自动化集装箱码头AGV调度方法，其特征在于，步骤(1)中，一关集装箱作业可以视作一个任务，任务可分为装(LOAD)与卸(UNLOAD)两种，任务数量为岸桥数量乘以每岸桥可同时服务AGV数量，即码头可同时作业的AGV数量的最大值，抽象岸桥与箱区轨道吊之间的水平运输需求信息为任务信息，通过更新任务信息接收岸桥下的新任务；

自动化集装箱码头AGV调度问题模型根据设备岸桥与箱区的布局给出码头水平运输环节的区域划分，整个码头被划分为多个区域，区域数量等于岸桥数量加上箱区数量，每一区域内有一岸桥或一箱区，通过时间矩阵的形式，给出AGV从每区域到其他区域所需花费的行驶时间，同时根据码头布局给出充电站所属区域。

3.根据权利要求1所述的基于DDQN的自动化集装箱码头AGV调度方法，其特征在于，步骤(2)中，环境状态集S表征任务状态信息、AGV状态信息与AGV充电站状态信息；任务状态信息包括：任务是否已开始(1已开始、0未开始)，任务是否已完成(1已完成、0未完成)，任务起始位置(NAREA维比特向量，任务起始位置所在区域对应维度为1，其他维度为0)以及任务目的位置(NAREA维比特向量，任务目的位置所在区域对应维度为1，其他维度为0)；AGV状态信息包括：AGV工作状态(0代表空闲、1代表锁死)，AGV电量状态(0代表电量不足、1代表电量充足)以及AGV当前位置(NAREA维比特向量，AGV当前位置所在区域对应维度为1，其他维度为0)；AGV充电站状态信息：充电站是否正在使用(1代表正在使用、0代表充电站空闲)；动作A表征AGV调度动作(TASKi,AGVj)，代表将第j个AGV调度去完成第i个任务(或去第i个充电站充电)；以最小化任务完成时间为目标设定奖励R：若当前调度结束后运输效率提升，则奖励+5；否则奖励为0；以最优化AGV调度过程为目标设定奖励R：若调度工作状态为锁死的AGV去完成任务，则奖励为-10；若调度AGV去完成已开始的任务，则奖励为-10；若调度电量不足的AGV去充电，则奖励为+5；若调度电量充足的AGV去充电，则奖励为-5。