[发明专利]机器学习装置、控制装置以及计算机可读介质

说明书

本发明提供一种机器学习装置、控制装置以及计算机可读介质。机器学习装置针对通过多个运算部并列地执行用于控制机床的多个进程的控制装置进行强化学习，该机器学习装置具备：行为信息输出单元，其对控制装置输出行为信息，该行为信息包含执行多个进程的运算部的分配；状态信息取得单元，其取得包含加工条件和判定信息的状态信息，加工条件是与对机床设定的加工有关的条件，判定信息是通过对基于行为信息中包含的分配由多个运算部执行多个进程进行监视而生成的信息；回报计算单元，其根据状态信息中包含的判定信息来计算强化学习的回报的值；以及价值函数更新单元，其根据回报的值、状态信息以及行为信息来更新行为价值函数。

技术领域

本发明涉及将通过多个运算部进行并行处理的装置作为对象来进行机器学习的机器学习装置、控制装置以及计算机可读介质。

背景技术

以往，已知根据加工程序来控制机床的控制装置。在机床的控制装置中，为了实时地控制机床的各轴的位置、速度，必须在固定的周期内或者固定的时间内执行预定的控制程序。

然而，近年来伴随着机床的多轴化、多功能化，控制程序大规模化，其处理量大幅增加。另外，为了实现更高速且更高精度的加工，必须缩短轴控制的周期。因此，需要提高控制装置的处理速度。

并且，机床的控制装置不限于轴的控制，还具备通信功能、显示功能、信号的输入输出功能等，也需要顺场地执行全部这些功能。

为了满足这些需求，一般在机床的控制装置中采用搭载了多处理器或多核心这样的多个运算部的硬件，并通过多个运算部并列地处理控制程序。通过采用搭载了多个运算部的硬件，能够增加控制装置中的每单位时间的处理量，作为结果，能够在更短时间内执行更多的处理。

例如，在专利文献1中公开了这样的通过多个运算部并列处理控制程序的控制装置。

另外，在专利文献2至专利文献5中公开了用于提高多个运算部进行的并行处理的效率的技术。

例如，在专利文献2中公开了通过在OS(Operating System：操作系统)之间使负载分散，来使各核心的运转率均衡的技术。另外，在专利文献3中公开了用于提高高速缓存的命中率的技术。并且，在专利文献4以及专利文献5中公开了通过分割并分散处理，来增加每单位时间的处理量的技术。

如上所述，在专利文献2至专利文献5中公开了用于提高控制程序的并行处理的效率的技术。

然而，在专利文献2公开的技术中，即使各核心的运转率能够均衡，也难以使核心间的通信量、各核心的消耗电能、发热量最优化。另外，在专利文献3、专利文献4以及专利文献5所公开的技术中，即使能够增加每单位时间的处理量，也无法建立与加工条件相对应的最佳的处理分散模式。

如此，虽然在各专利文献中公开了与特定的项目有关的最优化技术，但是在需要高实时性并且在多种加工条件下进行动作的机床的领域中，仅针对特定的项目进行最优化的技术无法获得大的效果。

另外，即使假设一并使用各专利文献的技术，在具有权衡关系的项目之间，难以使相互关系数学式化，从庞大的数据中求出最佳的解是非常困难的。

专利文献1：日本特开2014-35564号公报

专利文献2：日本特开2009-163527号公报

专利文献3：日本特开2015-200947号公报

专利文献4：日本特开2016-012221号公报

专利文献5：日本特开2016-051258号公报

发明内容

因此，本发明的目的在于提供一种机器学习装置、控制装置以及机器学习程序，用于根据加工条件将控制机床的各进程(所述控制程序)分配给最佳的运算部。