[发明专利]一种基于深度强化学习的排产数据处理方法

说明书

本发明涉及数据处理技术领域，提出了一种基于深度强化学习的排产数据处理方法，包括：采集若干历史排产数据；获取若干历史工艺序列并得到若干环境变化模式；获取若干工艺对，根据历史工艺序列获取每个工艺对的第一出现频率并得到前置工艺对，根据前置工艺对中的工艺距离获取必要工艺对，获取每个工艺在每个位置的第二出现频率，得到每个工艺的环境适应程度；获取每个工艺的环境适应能力；根据各环境变化模式之间的相似性获取若干环境变化组，对环境适应能力进行调整得到分配适应程度；构建初始调度方案，结合深度强化学习模型对调度方案实时更新。本发明旨在获取对不同环境变化下适应性均较好的初始调度方案，以此减小重调度方案的调整代价。

技术领域

本发明涉及数据处理技术领域，具体涉及一种基于深度强化学习的排产数据处理方法。

背景技术

排产数据处理即为工艺的生产流程，工艺生产流程排序的目的是为车间生产进行一个详细的短期生产流程计算，排产计划指明了计划范围内的每一个在所需资源上的加工开始时间和结束时间，也即给出了在给定资源上订单的加工工序；当前技术通过经验进行初始工艺顺序，即加工工序的排列，生成初始调度方案，但随机性较大，可能导致随着环境变化，在基于深度强化学习得到的重调度方案在实际调整时，调整难度或调整代价较大；因此需要一种可以结合历史排产数据来构建初始调度方案的方法，通过对历史排产数据分析各工艺在加工工序中的位置分布，获取不同工艺在分配工序过程中的优先级，进而使得初始调度方案对于不同环境变化的适应性均较好，从而能够降低实际调整时的调度代价，进而提高生产效率。

发明内容

本发明提供一种基于深度强化学习的排产数据处理方法，以解决现有的初始调度方案随机性较大导致重调度方案调整代价较大的问题，所采用的技术方案具体如下：

本发明一个实施例提供了一种基于深度强化学习的排产数据处理方法，该方法包括以下步骤：

获取若干历史排产数据；

根据历史排产数据获取每个历史排产数据对应的历史工艺序列，根据相邻的历史工艺序列获取若干环境变化模式；

根据历史工艺序列获取若干种工艺对，将每个工艺对在所有历史工艺序列中的出现频数与历史工艺序列数量的比值作为每个工艺对的第一出现频率，根据第一出现频率获取前置工艺对，将历史工艺序列中两个工艺的序数差值记为工艺距离，获取每个前置工艺对中的多个工艺距离，根据前置工艺对中的多个工艺距离获取必要工艺对；

获取每个工艺在所有历史工艺序列中每个位置的出现频数，将每个位置的出现频数与历史工艺序列数量的比值作为每个工艺在每个位置的第二出现频率，根据第二出现频率获取每个工艺的环境适应程度，根据必要工艺对、前置工艺对以及每个工艺的环境适应程度获取每个工艺的环境适应能力；

根据各环境变化模式之间的相似性通过聚类获取若干环境变化组，将每个环境变化组中的所有环境变化模式对应的历史工艺序列作为每个环境变化组包括的历史工艺序列，同时将每个环境变化组中环境变化模式的数量与所有环境变化模式数量的比值作为每个环境变化组的组出现频率；将存在必要工艺对的工艺记为第一分配工艺，根据必要工艺对、环境变化组以及每个第一分配工艺的环境适应能力，获取每个第一分配工艺的分配适应程度；将存在前置工艺对且不存在必要工艺对的工艺记为第二分配工艺，将每个前置工艺对中每个第二分配工艺的环境适应能力与所属前置工艺对的第一出现频率的乘积作为每个第二分配工艺的分配适应程度；将不存在前置工艺对的工艺记为第三分配工艺，根据环境变化模式及每个第三分配工艺的环境适应能力获取每个第三分配工艺的分配适应程度；

根据不同工艺的分配适应程度构建初始调度方案，根据初始调度方案结合深度强化学习模型对调度方案实时更新。

可选的，所述根据相邻的历史工艺序列获取若干环境变化模式，包括的具体方法为：