[发明专利]一种基于强化学习的一类多扰动车间柔性调度建模与优化的方法

权利要求书

1.一种基于强化学习的一类多扰动车间柔性调度建模与优化的方法，其特征在于包括如下步骤：

1)分析一类多扰动车间生产特点以及调度的原型特征，归纳出生产调度的扰动因素，建立扰动判别模型；

2)基于元胞机建模的思想对一类多扰动车间的调度问题进行抽象，归纳模型抽象的特点与运行机理，完成双层元胞机调度模型的建立，构建元胞机调度模型的双层元胞空间，完成元胞状态描述、邻域构造、工件粒子属性以及边界条件的设置，设立最小化所有工件完工时间和最大化同组设备的平均利用率的双调度目标，并设定生产调度元胞机模型的工位选择、工件排序和任务触发的演化规则，通过工位选择、工件排序和任务触发的规则，阐明静态调度的元胞机模型演化过程；

3)基于强化学习算法的思想对多扰动车间元胞机调度模型的演化规则进行优化：以元胞状态为基础，构建强化学习系统状态；以扰动元胞给予的扰动信息和工序完工信息为触发事件，设置状态转移机制，表征元胞的演化；建立强化学习的动作决策表征粒子在元胞空间的转移；根据调度目标设置报酬函数表征粒子移动的奖励，通过驱动机制实现调度系统的状态转移和实时决策，实现在Q学习框架下的动态调度，提高调度对扰动的适应性，增加在多扰动环境下调度的柔性，进行算例学习和算法验证；而Q学习算法本身能够利用经历过的状态—动作序列来决策最优的行为，是一种用于控制的基于行为值函数的强化学习算法，其更新行为的值函数增量式如下，其中α∈A(S_t+1)：

Q(s_t，α_t)＝Q(s_t，α_t)+α[r_t+1+γ×Q(s_t+1，α)-Q(s_t，α_t)]

其中，α表示学习步长，r_t+1表示汇报值；Q×(s,a)值是逐步迭代学习得来的，通过与环境的持续交互来更新表值，直至Q表囊括了绝大多数的环境状态的下Q值，随着交互过程的进行，最终收敛于最优状态动作值函数Q×(s,a)；

4)应用SQL Server构建仿真模型数据库，采用VB设计仿真模型界面，基于MATLAB实现仿真模型运算，建立仿真模型系统。