[发明专利]生产调度的深度强化学习

权利要求书

1.一种计算机实施的方法，其包括：

确定涉及一种或多种产品的生产的生产设施的模型，所述一种或多种产品在所述生产设施处利用一种或多种输入材料生产以满足一个或多个产品请求，每个产品请求指定在一个或多个请求时间处能够在所述生产设施处获得的所述一种或多种产品中的一个或多个所请求产品；

确定所述生产设施的策略神经网络和价值神经网络，所述策略神经网络与表示要在所述生产设施处调度的生产动作的策略函数相关联，并且所述价值神经网络与表示基于所述生产动作在所述生产设施处生产的产品的收益的价值函数相关联；以及

基于所述生产模型训练所述策略神经网络和所述价值神经网络以生成所述生产设施处的所述生产动作的时间表，所述时间表满足某一时间间隔内的所述一个或多个产品请求，其中所述生产动作的所述时间表涉及由于基于所述一个或多个请求时间确定的所述一个或多个所请求产品的延迟生产而导致的惩罚。

2.根据权利要求1所述的计算机实施的方法，其中所述策略函数将所述生产设施的一个或多个状态映射到所述生产动作，其中所述生产设施的所述一个或多个状态中的状态表示在所述时间间隔内的特定时间处能够在所述生产设施处获得的所述一种或多种产品的产品库存以及在所述特定时间处能够在所述生产设施处获得的所述一种或多种输入材料的输入材料库存，并且其中所述价值函数表示在采取生产动作之后生产的产品的收益和由于延迟生产而导致的惩罚。

3.根据权利要求2所述的计算机实施的方法，其中训练所述策略神经网络和所述价值神经网络包括：

在所述策略神经网络和所述价值神经网络处接收与所述生产设施的所述一个或多个状态中的特定状态有关的输入；

利用所述策略神经网络基于所述特定状态调度特定生产动作；

利用所述价值神经网络确定所述特定生产动作的估计收益；以及

基于所述估计收益更新所述策略神经网络和所述价值神经网络。

4.根据权利要求3所述的计算机实施的方法，其中基于所述估计收益更新所述策略神经网络和所述价值神经网络包括：

确定所述特定生产动作的实际收益；

确定所述估计收益与所述实际收益之间的收益误差；以及

基于所述收益误差更新所述价值神经网络。

5.根据权利要求3或权利要求4中任一项所述的计算机实施的方法，其中利用所述策略神经网络基于所述特定状态调度所述特定生产动作包括：

利用所述策略神经网络基于所述特定状态确定要在所述生产设施处调度的所述生产动作的概率分布；以及

基于所述生产动作的所述概率分布确定所述特定生产动作。

6.根据权利要求3到5中任一项所述的计算机实施的方法，其进一步包括：

在利用所述策略神经网络基于所述特定状态调度所述特定生产动作之后，通过以下操作基于所述特定生产动作更新所述生产设施的所述模型：

更新所述输入材料库存以说明用于执行所述特定生产动作的输入材料和在所述生产设施处接收到的另外的输入材料；

更新所述产品库存以说明由所述特定生产动作生产的产品；

确定更新的产品库存是否满足至少一个产品请求的至少一部分；

在确定满足至少一个产品请求的至少一部分之后：

确定满足至少一个产品请求的所述至少一部分的一种或多种可运输产品；

重新更新所述产品库存以说明所述一种或多种可运输产品的运输；以及

基于所述一种或多种可运输产品的所述运输更新所述一个或多个产品请求。

7.根据权利要求1到6中任一项所述的计算机实施的方法，其中训练所述策略神经网络和所述价值神经网络包括：

利用蒙特卡罗(Monte Carlo)技术生成一个或多个蒙特卡罗产品请求；以及

基于所述生产设施的所述模型训练所述策略神经网络和所述价值神经网络以满足所述一个或多个蒙特卡罗产品请求。