[发明专利]装置、方法和存储介质

权利要求书

1.一种装置，其中包括多个智能体，该智能体将设施中设置的多个设备的一部分分别作为对象设备；

所述多个智能体中的每一个具有：

状态获取单元，获取表示所述设施的状态的状态数据；

控制条件获取单元，获取表示各个对象设备的控制条件的控制条件数据；以及

学习处理单元，使用包括所述状态数据和所述控制条件数据的学习数据执行模型的学习处理，该模型对应于所述状态数据的输入，输出表示各个对象设备的被推荐的控制条件的推荐控制条件数据。

2.根据权利要求1所述的装置，其中：

所述学习处理单元使用所述学习数据和由预设奖励函数确定的奖励值来执行所述模型的学习处理；

所述模型对应于所述状态数据的输入，输出所述推荐控制条件数据，该推荐控制条件数据表示为了将所述奖励值提高到超过基准奖励值而推荐的各个对象设备的控制条件。

3.根据权利要求1所述的装置，其中，所述多个智能体中的每一个还包括：推荐控制条件输出单元，输出通过将所述状态数据提供给所述模型而获得的推荐控制条件数据。

4.根据权利要求3所述的装置，其中，所述推荐控制条件输出单元使用所述模型，输出在从未来的各个时间点的所述对象设备的多个控制条件中选择任一控制条件的多个控制条件序列中，表示最推荐的控制条件序列中包含的最近的控制条件的所述推荐控制条件数据。

5.根据权利要求1至4中任一项所述的装置，其中：

所述多个智能体中的每一个还具有控制单元，在由所述推荐控制条件数据所表示的控制条件下控制所述对象设备；

所述状态获取单元获取所述控制单元对所述对象设备控制后的所述状态数据。

6.根据权利要求1至5中任一项所述的装置，其中，所述多个智能体中的至少两个中的所述状态获取单元获取公共的所述状态数据。

7.根据权利要求1至6中任一项所述的装置，其中，所述多个智能体中的至少一个智能体的所述状态获取单元获取所述状态数据，所述状态数据还包括表示所述多个设备中不是所述智能体的对象设备的设备的控制条件的控制条件数据。

8.根据所述权利要求1至7中任一项所述的装置，其中，各个智能体的所述学习处理单元独立于与所述智能体不同的另一智能体，使用针对对象设备的内核动态策略编程法来执行学习处理。

9.根据所述权利要求1至8中任一项所述的装置，其中，所述多个智能体各自的对象设备的集合相对于在所述多个智能体中与该智能体不同的其他各个智能体的对象设备的集合是稀疏的。

10.根据权利要求9所述的装置，其中，所述多个智能体中的每一个将单个设备作为所述对象设备。

11.一种方法，其中，将设施中设置的多个设备的一部分分别作为对象设备的多个智能体中的每一个执行如下步骤：

获取表示所述设施的状态的状态数据；

获取表示各个对象设备的控制条件的控制条件数据；

使用包含所述状态数据和所述控制条件数据的学习数据执行模型的学习处理，该模型对应于所述状态数据的输入，输出表示各个对象设备的被推荐的控制条件的推荐控制条件数据。

12.一种存储有程序的存储介质，所述程序使一个或多个电脑作为多个智能体而发挥作用，该智能体将设施中设置的多个设备的一部分分别作为对象设备；

所述多个智能体的每一个具有：

状态获取单元，获取表示所述设施的状态的状态数据；

控制条件获取单元，获取表示个对象设备的控制条件的控制条件数据；以及

学习处理单元，使用包括所述状态数据和所述控制条件数据的学习数据执行模型的学习处理，该模型对应于所述状态数据的输入，输出表示各个对象设备的被推荐的控制条件的推荐控制条件数据。