[发明专利]一种基于强化学习的流水车间加工调度方法

说明书

本发明涉及一种基于强化学习的流水车间加工调度方法，本发明提出了一种新的解决流水车间调度问题的方法。该方法适用于流水车间调度领域，选取最小化最大加工时间为目标的调度问题。通过强化学习的Q‑Learning调度算法，通过引入状态变量和行为变量,将组合优化的排序问题转换成序贯决策问题,来解决置换流水车间调度问题。在引入强化学习之前，将加工工件的机器和需要被加工的工件按顺序排列构造成一个二维矩阵，通过计算该矩阵的每个副对角线数量级最大数之和即可得出目标值。本发明能够大大提高计算时的速度和效率，在验证正确性时有很大的作用。

技术领域

本发明涉及加工调度领域，具体的讲是一种基于强化学习的流水车间加工调度方法。

背景技术

流水车间调度问题因其在运输、采购、计算设计、信息处理和通信等行业中的重要性而引起了研究人员的关注。因为这个问题是NP难的，在多项式时间内找到解是很难的，所以提出了许多算法来克服这个问题。目前,解决这类问题有效方法主要包括:精确算法,启发式算法,智能优化算法.如枚举法、分支定界法等精确算法只对小规模问题的求解有着很好的效果。如Gupta法、RA法和NEH法等启发式算法可以求解快速构造问题的解,但是解的质量较差。近年来,随着技术的进步,机器学习领域里一个古老又崭新的理强化学,又得到了科研人员的广泛重视。将强化学习与调度结合是一个崭新的方向，同时在计算最小化最大完成时间的方法上通过计算二维矩阵的副对角线最大值之和应用在流水车间调度上也是一个新颖的方法。伴随着产品的种类，规模数量问题规模快速增加，需要解决方案的复杂性也随着问题范围的增加而加大，对于规模较大的流水车间调度问题仍需进一步研究。

发明内容

本发明要解决的技术问题是针对以上不足，提供一种基于强化学习的流水车间加工调度方法。

为解决以上技术问题，本发明采用以下技术方案：

一种基于强化学习的流水车间加工调度方法，包括以下步骤：

步骤1、确定工序数量、需要加工的工件数量以及每个工件在不同工序上的加工时间，设每个工件的加工工序均一致，首道加工工序为起始工序，加工序列即为将不同工件放入起始工序进行加工的先后顺序；

步骤2、将剩余待加工的工件序号作为状态，将下一次起始工序选择加工的工件序号作为可选的动作，每个状态下的不同动作均对应不同的状态-动作权重值，通过优先选择权重值更大的状态和动作，生成加工序列；

步骤3、计算加工序列中每个工件的最小化最大完工时间makespan，通过Q-learning算法更新加工每个工件时对应的状态和动作的状态-动作权重值，所有工件计算完毕后，本次迭代完成，判断是否达到预设最大迭代次数，若是，转到下一步，否则迭代次数加1，转到上一步；

计算每个工件对应的最小化最大完工时间makespan的方法为：

排列构造一个n×m的二维矩阵，矩阵的行代表已加工工件，按加工先后顺序由上到下进行排列，矩阵的列代表加工工序，由左到右代表由先到后的加工工序，矩阵中的元素为对应工件在对应工序下加工的所需时间，该二维矩阵有n+m-1条副对角线，取每条副对角线上的最大值进行求和得到最小化最大完工时间makespan；

步骤4、保存最后一次迭代的权重值作为最终权重值；

步骤5、利用最终权重值进行状态和动作的选择，得到最优加工序列。

进一步的，所述步骤3中，权重值的更新公式为：

Q’＝Q+ALPHA×[reward+GAMMA×max((Q(s’,a’))-Q]

公式中，Q’为当前状态和动作对应的更新后的权重值，Q为当前状态和动作对应的更新前的权重值，Q(s’,a’)为下一步的所有可行状态下的不同动作对应的状态-动作权重值集合，ALPHA和GAMMA为预设值,reward为奖励值，计算公式为：