[发明专利]装置、方法和存储介质

说明书

如果单纯地进行机器学习，则要学习的参数的数量变得庞大，造成到学习收敛为止需要不切实际的长时间或者造成学习无法收敛，其结果会导致无法算出为操作设备推荐的控制条件。为此，本发明提供一种装置，其中包括多个智能体，将设施中设置的多个设备的一部分分别作为对象设备。多个智能体中的每一个具有：状态获取单元，获取表示设施的状态的状态数据；控制条件获取单元，获取表示各个对象设备的控制条件的控制条件数据；以及学习处理单元，使用包括状态数据和控制条件数据的学习数据执行模型的学习处理，该模型对应于状态数据的输入，输出表示各个对象设备的被推荐的控制条件的推荐控制条件数据。

技术领域

本发明涉及一种装置、方法和存储介质。

背景技术

传统上，在工厂等的设施中，已经构造了分布式控制系统(DCS：分布式控制系统)，其中传感器或操作装置以及控制它们的控制装置通过通信装置连接，通过DCS实现了高度自动化的操作。在这样的设施中，通过传感器测量设施的产量、运行状态、警报发生状况等，测量结果由DCS收集并由操作面板或监视终端的监视器等监视装置进行显示。在增减设施的产量时，对设施的运行状态进行监视的面板操作员向被称为现场操作员的工作人员指示调整诸如阀等的操作设备。近来，为了通过机器学习来优化这种操作设备等的调整，已经研究了算出为各个操作设备推荐的控制条件以使设施的操作自动化的技术(例如，参见专利文献1)。

专利文献1：日本专利申请公开No.2014-174993号公报

发明内容

发明要解决的问题:

然而，如果单纯地进行机器学习，则要学习的参数数量变得庞大，造成到学习收敛为止需要不切实际的长时间或者造成学习无法收敛，其结果会导致无法算出为操作设备推荐的控制条件。

解决问题的方案:

为了解决上述问题，本发明的第一形态中提供一种装置。装置可以具备多个智能体，将设施中设置的多个设备的一部分分别作为对象设备。多个智能体中的每一个可以具有状态获取单元，获取表示设施的状态的状态数据。多个智能体中的每一个可以具有控制条件获取单元，获取表示各个对象设备的控制条件的控制条件数据。多个智能体中的每一个可以具有学习处理单元，使用包括状态数据和控制条件数据的学习数据执行模型的学习处理，该模型对应于状态数据的输入，输出表示各个对象设备的被推荐的控制条件的推荐控制条件数据

学习处理单元可以使用学习数据和由预设奖励函数确定的奖励值来执行模型的学习处理。模型可以对应于状态数据的输入，输出推荐控制条件数据，该推荐控制条件数据表示为了将奖励值提高到超过基准奖励值而推荐的各个对象设备的控制条件

多个智能体中的每一个还可以具有推荐控制条件输出单元，输出通过将状态数据提供给模型而获得的推荐控制条件数据。

推荐控制条件输出单元可以使用模型，输出在从未来的各个时间点的对象设备的多个控制条件中选择任一控制条件的多个控制条件序列中，表示最推荐的控制条件序列中包含的最近的控制条件的推荐控制条件数据。

多个智能体中的每一个还可以具有控制单元，在由推荐控制条件数据所表示的控制条件下控制对象设备。状态获取单元可以获取控制单元对对象设备控制后的状态数据

多个智能体中的至少两个中的状态获取单元可以获取公共的状态数据

多个智能体中的至少一个智能体的状态获取单元可以获取状态数据，状态数据还包括表示多个设备中不是智能体的对象设备的设备的控制条件的控制条件数据。

各个智能体的学习处理单元可以独立于与智能体不同的另一智能体，使用针对对象设备的内核动态策略编程法(Kernel Dynamic Policy Programming)来执行学习处理。

多个智能体各自的对象设备的集合相对于在多个智能体中与该智能体不同的其他各个智能体的对象设备的集合可以是稀疏的。