[发明专利]基于强化学习的多层工厂车间调度方法

说明书

本发明提出了一种基于强化学习的多层工厂车间调度方法，包括：建立多层工厂车间物流网络模型；收集数据，采用边缘计算算法对数据进行实时预处理和分析，采用联邦学习技术对分散在不同设备上的数据进行分布式学习；设计强化学习模型；实时调度执行，使用模型预测控制技术，生成鲁棒调度策略，然后采用事件驱动调度方法，提高调度系统的适应性；采用多层工厂在线强化学习方法，强化学习模型实时更新参数，然后采用迁移学习技术，提升强化学习模型的学习效果和泛化能力；采用贝叶斯优化算法和进化算法，优化物流网络模型。本发明通过设计在线学习方法的形式在多层工厂调度问题中实现高效率协同的分布式计算，能够快速适应环境的变化。

技术领域

本发明属于工厂车间调度的技术领域，尤其涉及基于强化学习的多层工厂车间调度方法。

背景技术

随着工业自动化和智能制造的快速发展，多层工厂车间逐渐成为一种可行的解决方案，特别是在土地资源有限和成本较高的地区。多层工厂具有空间利用率高、节省土地资源等优点。然而，多层工厂车间在物流调度和生产线调度方面面临一些技术挑战，如物流路径复杂、垂直运输需求增加等。现有的单层工厂调度方法无法很好地解决这些问题，导致调度效率低、适应性差、无法应对动态环境等。因此，迫切需要一种高效、灵活、自适应的多层工厂车间调度方法。

发明内容

本发明的目的是提出一种基于强化学习的多层工厂车间调度方法，通过设计在线学习方法的形式在多层工厂调度问题中实现高效率协同的分布式计算，能够快速适应环境的变化。

为了达到上述目的，在本发明提供了基于强化学习的多层工厂车间调度方法，所述方法包括：

S1：建立多层工厂车间物流网络模型；

S2：收集数据，采用边缘计算算法对数据进行实时预处理和分析，再采用联邦学习技术对分散在不同设备上的数据进行分布式学习；

S3：设计强化学习模型，包括对S，A，R，T部分的建模，其中，S表示状态空间，A表示动作空间，R表示奖励函数，T表示转移函数；

S4：实时调度执行，使用模型预测控制技术，生成针对不确定性和动态环境的鲁棒调度策略，然后采用事件驱动调度方法，提高调度系统的适应性；

S5：采用多层工厂在线强化学习方法，强化学习模型在生产过程中实时更新参数，然后采用迁移学习技术，同时利用其他工厂车间的经验数据，提升强化学习模型的学习效果和泛化能力；

S6：采用贝叶斯优化算法，自动调整强化学习模型的超参数，然后采用进化算法，通过模拟自然选择过程，不断优化物流网络模型。

进一步地，所述S1，具体包括：采用层次化建模方法，将多层工厂的物流网络拆分为不同的层级，并使用图神经网络对物流网络进行表示学习，捕获多层工厂车间中的复杂物流关系；

其中，所述层次化建模方法包括：将物流网络划分为楼层层级和电梯层级；在所述楼层层级中，建立楼层子网络模型，包括生产线、仓库和物流路径；在电梯层级中，建立电梯子网络模型，包括电梯和楼层之间的物流路径；

所述图神经网络对物流网络进行表示学习，具体包括：

S1.1、初始化一个有向图G(V,E)，其中V是节点集合，E是边集合。节点表示生产线、仓库或电梯，边表示物流路径，节点特征包括生产速率、库存量和电梯运行速度，边特征包括物流路径长度和最大搬运能力；

S1.2、使用以下GNN架构进行表示学习：

输入层：将所述节点特征和所述边特征输入GNN模型；

隐藏层：包含多个卷积层，每一层利用相邻节点和边的信息更新节点表示，采用ReLU激活函数进行非线性变换。

输出层：输出节点和边的特征表示，用于后续的强化学习模型；