[发明专利]基于强化学习的生产控制方法

摘要

本发明是一种基于强化学习的生产控制方法，对订单变更问题使用半马尔可夫决策模型建模，综合考虑企业实际生产环节中的设备使用情况、产品的收益、库存开销以及订单的违约赔偿等因素，将企业收益最大化和变更前后整体生产决策差异最小化作为优化目标，采用动态改变探索速率和学习速率的Q‑learning算法对生产再决策问题进行优化。数值实验证明，所提出的方法能够快速解决生产再决策问题。

主权项

1.一种基于强化学习的生产控制方法，其特征在于包括以下步骤：/n(1)、订单状态巡查：接到变更通知后，将生产线暂停生产，巡查正在生产的订单的状态而得到的订单临时状态表；/n(2)、生产控制建模：将订单临时状态表体细分到每一个订单中每一种产品的每步工序，此工序即为对应订单的生产单元，用O_i,j,k表示，其中，i＝1，…，L表示对应的第i个订单；j＝1，…，M表示对应的是该订单的第j种产品；k＝1，…，N表示对应的是该产品的第k步工序；首先定义生产控制系统的状态；/n定义：系统的第t个决策对应的状态S_t：/nS_t＝(N_1,1,1,N_1,1,2,...,N_i,j,k,...,N_L,M,N,E_t) (1)/n式中，i＝1，…，L；j＝1，…，M；k＝1，…，N；其中，N_i,j,k表示第i个订单中第j种产品处于第k步工序的产品数量，也是对应生产单元O_i,j,k的产品数量，E_t表示当前时刻设备的使用状况；每步生产安排就是改变每个生产单元O_i,j,k中产品的数量N_i,j,k，N_i,j,k的变化会导致系统状态发生变化，系统的下一个状态S_t+1仅与当前状态S_t有关，当所有订单的所有产品生产安排完成后，生产控制随之完成；/n所建立的生产控制模型包括Agent及生产控制环境，所述Agent包括行为空间和决策模块；所述生产控制环境包含互相关联并作为决策模块的仓储管理模块、设备管理模块和收益计算模块；/n所述决策模块通过Q-learning算法进行训练，训练步骤为：/n步骤1、获取状态空间和行为空间，所述状态空间依据订单临时状态表建立，所述行为空间是可执行的行为的集合，所述行为是指各生产单元根据所选择的生产数量进行生产；同时，初始化探索速率ε和学习效率α，并初始化Q值函数；/n步骤2、下列步骤2.1至2.3构成一个完整的episode，重复所述episode直至达到预设的最大episode运行次数：/n步骤2.1、从状态空间随机选择一个状态作为初始状态；/n步骤2.2、重复步骤2.2.1至2.2.3直至达到预设的最大循环次数：/n步骤2.2.1、以ε的概率随机选择一个行为，以1-ε的概率根据当前策略选择最佳行为a；/n步骤2.2.2、在当前状态s的基础上执行行为a，获得下一状态s’以及得到执行行为a所获得的奖励r；/n步骤2.2.3、根据获得的奖励更新Q值函数；/n步骤2.3、根据当前的episode运行次数修正探索速率ε和学习效率α，修正时，随着episode运行次数的增大逐渐减小探索速率ε和学习效率α；/n步骤3、将得到的Q值函数应用于决策模块进行决策。/n