[发明专利]生产调度的深度强化学习

说明书

提供了用于在生产设施处调度生产的方法和设备。可以确定利用一种或多种输入材料来生产满足产品请求的产品的生产设施的模型。每个产品请求可以指定在请求时间处可获得的所请求产品。可以为所述生产设施确定策略和价值神经网络。所述策略神经网络可以表示要在所述生产设施处调度的生产动作，并且所述价值神经网络可以表示在所述生产设施处生产的产品的收益。所述策略和价值神经网络可以在训练期间使用所述生产设施的模型来生成所述生产设施处的生产动作的时间表，所述时间表满足某一时间间隔内的所述产品请求并涉及由于所请求产品的延迟生产而导致的惩罚。

技术领域

本申请要求于2018年10月26日提交的美国临时申请第62/750,986号的优先权，所述美国临时申请特此通过引用整体并入本文。

背景技术

化工企业每天可以使用生产设施将原材料输入转化为产品。在经营这些化工企业时，必须提出和回答关于资源分配的复杂问题，这些问题涉及应该生产什么样的化工产品、应该在什么时候生产这些产品以及应该生产多少这些产品。关于库存管理的另外的问题，如现在要处理多少与库存中要存储多少以及存储多长时间，对这些决策的“更好的”回答可以提高化工企业的利润率。

化工企业还面临着来自竞争和创新的越来越大的压力，迫使其对生产策略进行修改以保持竞争力。此外，可以在面对重大不确定性的情况下做出这些决策。生产延误、工厂停产或停工、紧急订单、价格波动以及需求变化都可能是不确定性的来源，这些不确定性使得之前的最佳时间表变得次优甚至不可行。

化工企业面临的资源分配问题的解决方案通常在计算上很困难，从而导致计算时间过长，无法对实时需求做出反应。调度问题按其处理时间、优化决策和其它建模元素的方式进行分类。目前有两种方法可以在处理不确定性的同时解决调度问题：鲁棒优化和随机优化。鲁棒优化确保时间表在系统中的不确定性的可能结果的给定集合中是可行的。鲁棒优化的实例可以涉及对建模为在处理时间、需求和原材料价格方面具有不确定性的连续时间状态-任务网络(STN)的化学过程进行调度。

随机优化可以分阶段处理不确定性，由此做出决策并且然后揭露不确定性，这使得能够在给定新信息的情况下做出资源决策。一个随机优化实例涉及使用多阶段随机优化模型来确定安全库存水平，以维持对于随机需求的给定客户满意度。另一个随机优化实例涉及使用两阶段随机混合整数线性程序来解决具有滚动范围的化学批处理的调度，同时考虑与其决策相关的风险。尽管在不确定性条件下进行优化已有很长的历史，但是由于高昂的计算成本、不确定性来源(内源性与外源性)以及测量不确定性的复杂性，许多技术很难实施。

发明内容

第一示例实施例可以涉及计算机实施的方法。可以确定涉及一种或多种产品的生产的生产设施的模型，所述一种或多种产品在所述生产设施处利用一种或多种输入材料生产以满足一个或多个产品请求。每个产品请求可以指定在一个或多个请求时间处可在所述生产设施处获得的所述一种或多种产品中的一个或多个所请求产品。可以确定所述生产设施的策略神经网络和价值神经网络。所述策略神经网络可以与表示要在所述生产设施处调度的生产动作的策略函数相关联。所述价值神经网络可以与表示基于所述生产动作在所述生产设施处生产的产品的收益的价值函数相关联。可以基于所述生产模型训练所述策略神经网络和所述价值神经网络以生成所述生产设施处的所述生产动作的时间表，所述时间表满足某一时间间隔内的所述一个或多个产品请求。所述生产动作的时间表可以涉及由于基于一个或多个请求时间确定的一个或多个所请求产品的延迟生产而导致的惩罚。

第二示例实施例可以涉及计算装置。所述计算装置可以包含一个或多个处理器和数据存储装置。所述数据存储装置上可以存储有计算机可执行指令，所述计算机可执行指令当由所述一个或多个处理器执行时使所述计算装置执行可以包含所述第一示例实施例的计算机实施的方法的功能。

第三示例实施例可以涉及一种制品。所述制品可以包含其上存储有计算机可读指令的一种或多种计算机可读介质，所述计算机可读指令当由计算装置的一个或多个处理器执行时使所述计算装置执行可以包含所述第一示例实施例的计算机实施的方法的功能。