[发明专利]基于分布式强化学习和边缘计算的工厂调度方法及系统

说明书

本发明属于工业物联网技术领域，公开了基于分布式强化学习和边缘计算的工厂调度方法及系统。所述系统包括本地动作模型、边缘设备、云端数据存储器和云端策略模型。方法为：初始化本地动作模型和边缘设备；本地动作模型实时生成适配不同流水线的调度规则；边缘设备对实时产生的生产信息进行编码，生成两参数元组和五参数元组分别发送至本地动作模型和云端数据存储器；云端策略模型对云端存储的数据进行优先级采样、重要性排序和更新；同步云端策略模型和本地动作模型。本发明将边缘计算与分布式强化学习算法结合应用于工业生产，实现了数据实时传输和工业生产实时调度，并通过本地设备与云端设备的交互，不断提高模型准确性，优化工业生产效率。

技术领域

本发明属于工业物联网技术领域，具体涉及基于分布式强化学习和边缘计算的工厂调度方法及系统。

背景技术

在如今的物联网时代，数据需要比以往更快地发送和接收，而直接将智能设备连接到云的方法存在许多缺点，如时延较大、带宽受限等，故此前的云计算技术无法很好地满足物联网应用的多样化需求。近年来，随着物联网设备日益广泛的部署、5G网络基础的逐渐完善，边缘计算得到迅猛发展，由于边缘计算能够进行实时地数据处理和分析，并且具备安全性高、可扩展性强等优势，较好地弥补了当今云计算的不足之处，受到了人们广泛的关注，并且在车辆互联、医疗保健、智能建筑控制等领域取得了很好的效果，将边缘计算应用于工业制造上，也逐渐成为了新的研究热点。

与此同时，随着工业4.0时代的到来，“智能工厂”成为了新时代背景下推动工业生产的一个重要发展方向，而人工智能技术是实现工厂“智能化”的关键技术之一，其能使工厂完成自动的制造、调度、维护等工业生产环节。其中，强化学习作为一种新兴的人工智能算法，可以在没有给定的初始数据或策略的情况下，通过智能体与环境的不断交互，实现策略的进一步优化，从而生成最优策略，因此，将其应用于工业生产调度领域的相关研究也日益增多。同时，近年来提出的分布式强化学习算法能够生成更丰富的供智能体训练的样本，使其能与实际的工业生产领域更好地结合。

现有技术中，将人工智能技术中的强化学习算法运用于工业生产领域中的研究取得了较多的成果，但受数据传输等多方面限制，使得上述的研究难以应用于现实的工业生产中。专利文献CN2021101771444公开了一种基于深度强化学习的流水车间调度方法，将每个工件的嵌入表示作为策略网络的输入，并依次选择概率最高的工件，直到所有工件选择完毕得到完整的调度序列，具有较好的通用性；申请号为CN2020114067483的专利文献提供了基于深度强化学习的动态生产调度方法、装置及电子设备，通过将各作业的静态特征和动态特征以及系统动态特征输入至调度模型，从而输出各作业在每个生产阶段的作业执行顺序或者批次执行顺序，可以在不超过生产设备处理能力的基础上，减少作业整体处理时间。但是，这两者均未涉及将边缘计算与工业生产领域相结合，且均未涉及分布式强化学习在生产调度中的应用，其在数据实时传输、模型输出的准确性等方面还有待进一步提高。

发明内容

针对上述现有技术的不足，本发明提供了基于分布式强化学习和边缘计算的工厂调度方法，将边缘计算与工业生产相结合，更好地实现数据的实时传输；运用分布式强化学习算法，提高模型输出的准确性；并通过本地动作模型与云端策略模型的交互运行、同步更新，实现模型的不断优化，更优地实现工业生产实时调度的效果，进一步促进技术落地，实现工业生产效率的优化。

为实现上述技术目的，本发明采用以下技术方案：

基于分布式强化学习和边缘计算的工厂调度方法，所述方法包括如下步骤：

步骤S1：初始化本地动作模型和边缘设备；

步骤S2：本地动作模型根据不同流水线的ID生成初始调度规则，并分配到相应的流水线上；