[发明专利]一种基于深度强化学习的排产数据处理方法

权利要求书

1.一种基于深度强化学习的排产数据处理方法，其特征在于，该方法包括以下步骤：

获取若干历史排产数据；

根据历史排产数据获取每个历史排产数据对应的历史工艺序列，根据相邻的历史工艺序列获取若干环境变化模式；

根据历史工艺序列获取若干种工艺对，将每个工艺对在所有历史工艺序列中的出现频数与历史工艺序列数量的比值作为每个工艺对的第一出现频率，根据第一出现频率获取前置工艺对，将历史工艺序列中两个工艺的序数差值记为工艺距离，获取每个前置工艺对中的多个工艺距离，根据前置工艺对中的多个工艺距离获取必要工艺对；

获取每个工艺在所有历史工艺序列中每个位置的出现频数，将每个位置的出现频数与历史工艺序列数量的比值作为每个工艺在每个位置的第二出现频率，根据第二出现频率获取每个工艺的环境适应程度，根据必要工艺对、前置工艺对以及每个工艺的环境适应程度获取每个工艺的环境适应能力；

根据各环境变化模式之间的相似性通过聚类获取若干环境变化组，将每个环境变化组中的所有环境变化模式对应的历史工艺序列作为每个环境变化组包括的历史工艺序列，同时将每个环境变化组中环境变化模式的数量与所有环境变化模式数量的比值作为每个环境变化组的组出现频率；将存在必要工艺对的工艺记为第一分配工艺，根据必要工艺对、环境变化组以及每个第一分配工艺的环境适应能力，获取每个第一分配工艺的分配适应程度；将存在前置工艺对且不存在必要工艺对的工艺记为第二分配工艺，将每个前置工艺对中每个第二分配工艺的环境适应能力与所属前置工艺对的第一出现频率的乘积作为每个第二分配工艺的分配适应程度；将不存在前置工艺对的工艺记为第三分配工艺，根据环境变化模式及每个第三分配工艺的环境适应能力获取每个第三分配工艺的分配适应程度；

根据不同工艺的分配适应程度构建初始调度方案，根据初始调度方案结合深度强化学习模型对调度方案实时更新；

其中，根据相邻的历史工艺序列获取若干环境变化模式的方法为：将每两个相邻的历史工艺序列作为一个序列对，获取每个序列对中第一个历史工艺序列中每个元素的序数，并将序数按照升序排列得到序列对中第一个历史工艺序列的数字序列，将每个序列对中第二个历史工艺序列中每个元素用第一个历史工艺序列中对应元素的序数进行替换，得到的序列记为序列对中第二个历史工艺序列的数字序列；将每个序列对中第二个历史工艺序列的数字序列减去第一个历史工艺序列的数字序列得到的差值序列，记为每个序列对的工艺变化序列，所述工艺变化序列即为环境变化模式。

2.根据权利要求1所述的一种基于深度强化学习的排产数据处理方法，其特征在于，所述根据前置工艺对中的多个工艺距离获取必要工艺对，包括的具体方法为：

将每个前置工艺对中工艺距离相同的工艺对记为前置距离工艺对，将每个前置距离工艺对在所有历史工艺序列中的出现频数与所属前置工艺对在所有历史工艺序列中的出现频数的比值，作为每个前置距离工艺对的前置必要频率，获取同一前置工艺对中每个前置距离工艺对的前置必要频率；

获取同一前置工艺对中最大的前置必要频率与第二大的前置必要频率的差值，将差值与第二大的前置必要频率的比值作为最大的前置必要频率对应的前置距离工艺对的前置必要程度，获取每个前置工艺对中每个前置必要频率最大的前置距离工艺对的前置必要程度，将前置必要程度大于第二预设阈值的前置距离工艺对作为必要工艺对。

3.根据权利要求1所述的一种基于深度强化学习的排产数据处理方法，其特征在于，所述根据必要工艺对、前置工艺对以及每个工艺的环境适应程度获取每个工艺的环境适应能力，包括的具体方法为：

将每个必要工艺对中环境适应程度最小的工艺的环境适应程度，赋予到必要工艺对中另一个工艺的环境适应程度；将每个非必要工艺对的前置工艺对中环境适应程度最小的工艺的环境适应程度，赋予到前置工艺对中另一个工艺的环境适应程度；不存在前置工艺对的工艺的环境适应程度不变，将所有调整后及不变的环境适应程度记为每个工艺的环境能力。