[发明专利]控制系统以及机器学习装置

权利要求书

1.一种控制系统，其具备对工件进行加工的至少一个机械、以及对在该机械进行的加工中使用的伺服增益进行调整的上位装置，其特征在于，

所述控制系统具备机器学习装置，该机器学习装置对所述机械的伺服增益的调整进行机器学习，

所述机器学习装置具备：

状态观测部，其观测所述机械的与机械相关的信息来作为状态数据；

判定数据取得部，其取得与所述机械进行的加工相关的信息来作为判定数据；

回报计算部，其根据所述判定数据和预先设定的回报条件来计算回报；

学习部，其对所述机械的伺服增益的调整进行机器学习；

决策部，其根据所述学习部对于所述机械的伺服增益的调整的机器学习结果和所述状态数据，决定所述机械的伺服增益的调整行为；

增益变更部，其根据由所述决策部决定的伺服增益的调整行为，变更所述机械的伺服增益；以及

价值函数切换判定部，其根据对所述机械预先设定的优先因素，来切换在所述机器学习以及所述调整行为的决定中使用的价值函数，

所述学习部根据所述状态数据、所述调整行为、在所述调整行为后计算出的回报，对所述机械的伺服增益的调整进行机器学习。

2.根据权利要求1所述的控制系统，其特征在于，

关于所述回报条件，根据对每个所述优先因素设定的回报条件来计算正或负的回报。

3.根据权利要求1或2所述的控制系统，其特征在于，

所述控制系统与至少一个其他的数值控制装置连接，

在与其他的所述上位装置之间相互交换或共享机器学习的结果。

4.一种机器学习装置，其针对在加工工件的至少一个机械进行的加工中使用的伺服增益的调整进行机器学习，其特征在于，具备：

状态观测部，其观测所述机械的与机械相关的信息来作为状态数据；

判定数据取得部，其取得与所述机械进行的加工相关的信息来作为判定数据；

回报计算部，其根据所述判定数据和预先设定的回报条件来计算回报；

学习部，其对所述机械的伺服增益的调整进行机器学习；

决策部，其根据所述学习部对于所述机械的伺服增益的调整的机器学习结果和所述状态数据，决定所述机械的伺服增益的调整行为；

增益变更部，其根据由所述决策部决定的伺服增益的调整行为，变更所述机械的伺服增益；以及

价值函数切换判定部，其根据对所述机械预先设定的优先因素，来切换在所述机器学习以及所述调整行为的决定中使用的价值函数，

所述学习部根据所述状态数据、所述调整行为、在所述调整行为后计算出的回报，对所述机械的伺服增益的调整进行机器学习。