[发明专利]基于超启发式算法的自动化码头出口箱箱位分配优化方法

说明书

一种基于超启发式算法的自动化码头出口箱箱位分配优化方法，通过高级控制策略进行参数初始化、问题确认、强化学习状态计算、通过强化学习状态计算动作概率和根据动作概率选择合适的算法，然后通过计算强化学习状态及适应度后判断是否达到迭代次数并输出箱位分配方案及新的指标。本发明从实际出口箱箱位分配的堆场接力、多箱区协同特性出发，将强化学习和深度学习用作高级选择策略，将启发式算子、智能算法用作低级启发式方法，以自适应地生成高质量的箱位分配方案，提高自动化集装箱码头出口箱作业效率。

技术领域

本发明涉及的是一种自动化控制领域的技术，具体是一种基于超启发式算法的自动化码头出口箱箱位分配优化方法。

背景技术

在堆场作业中，出口箱的箱位分配方案的优劣将会对堆场吞吐能力有直接影响，在出口箱作业中，集装箱由外集卡运输进入堆场，经过陆侧入场作业、堆场存储、海侧出场作业三个阶段，将于海侧由AGV运输离开堆场进行装船作业。由于自动化集装箱码头中堆场的长度较长，且场桥之间无法相互跨越，为避免两台场桥单独执行入场及出场作业导致作业区间较长，降低整体效率的情况，采用两台场桥接力的作业方式，即在堆场中部设立中转区，先由路侧场桥将出口箱运输至中转区，再由海侧场桥运输至目标箱位。该接力操作较为复杂，同时需要考虑箱位选择平衡，从而减少阻塞情况。

若将同一批出口箱集中堆放在同一箱区，该箱区难以完成短时间内密集的出口箱运输任务，将导致总作业时间大大增加。为最小化总作业时间并最大化工作效率，自动化集装箱堆场采用多箱区协同的方式，与传统堆场按类别堆放集装箱的规则不同，自动化码头堆场将该批集装箱分散于多个箱区中，尽可能平衡每个箱区的任务数目，以发挥箱区数量大的优势，满足出口箱要求。

现有箱位分配技术中，一部分关注的是具体箱位的选取，并采用精确求解、调度规则或智能算法加以解决。另一部分则关注箱区或倍位的选择，通过和其他问题的集成形成全局中最优方案。但是由于自动化集装箱码头出口箱箱位分配问题的规模较大且复杂，提升问题的难度，当前的解决方案并不能完全满足集装箱码头整体高效作业的需求。另外，在考虑上述提到的堆场接力以及多箱区协同特性的情况下，出口箱箱位分配问题将会变得更加复杂。

发明内容

本发明针对现有箱位分配方法存在的上述不足，提出一种基于超启发式算法的自动化码头出口箱箱位分配优化方法，从实际出口箱箱位分配的堆场接力、多箱区协同特性出发，将强化学习和深度学习用作高级选择策略，将启发式算子、智能算法用作低级启发式方法，以自适应地生成高质量的箱位分配方案，提高自动化集装箱码头出口箱作业效率。

本发明是通过以下技术方案实现的：

本发明涉及一种基于超启发式算法的自动化码头出口箱箱位分配优化方法，通过高级控制策略进行参数初始化、问题确认、强化学习状态计算、通过强化学习状态计算动作概率和根据动作概率选择合适的算法，然后通过计算强化学习状态及适应度后判断是否达到迭代次数并输出箱位分配方案及新的指标。

所述的高级控制策略，采用基于策略的强化学习算法DPPO，根据迭代以及场景状态智能选取合适的启发式算法进行问题求解。

所述的参数初始化，即初始化超启发式算法的更新前后的演员网络、评论家网络、不同的启发式算法、最大回合数、回合中的最大步数、批尺寸、中心线程、多个工人线程、线程同步变量参数。

所述的问题确认是指：随机生成新的出口箱箱位分配问题，具体包括：箱区数量、箱区倍位数量、出口箱任务数量。

所述的强化学习状态是指：低层启发式算法所模拟生物种群中的个体得分差异，计算操作为：所有得分差异组成大小为nxn的差异矩阵。

所述的动作概率是指：强化学习过程的每个决策中所计算用于判断采用何种低级启发式算法的随机数，该操作采用ε-贪婪的方法来平衡动作选取的探索和利用，于每个决策时刻生成一个随机数。