[发明专利]机器学习装置、伺服控制系统以及机器学习方法

说明书

提供机器学习装置、伺服控制系统以及机器学习方法。根据电动机的相位适当调整控制器增益。对控制具备电动机的控制对象装置的动作的伺服控制装置进行强化学习的机器学习装置具备：行为信息输出单元，其对伺服控制装置具备的控制器输出包括控制器增益的传输函数的系数的调整信息的行为信息；状态信息取得单元，其从伺服控制装置取得状态信息，该状态信息包括在控制器根据行为信息使控制对象装置动作时被输入到控制器的指令与控制对象装置的实际动作之间的偏差、电动机的相位、控制器增益的传输函数的系数；根据状态信息中包括的偏差来输出强化学习的回报值的回报输出单元和根据回报值、状态信息、行为信息来更新行为价值函数的价值函数更新单元。

技术领域

本发明涉及用于进行伺服控制相关的机器学习的机器学习装置、伺服控制系统以及机器学习方法。

背景技术

目前，已知一种技术，通过进行伺服控制相关的机器学习，适当地控制作为伺服控制的对象的机床等。

例如在专利文献1中公开的技术中，作为状态观测关于主轴的负荷、温度以及振动。然后通过基于该观测到的状态的强化学习来学习用于修正动作指令的价值函数。学习结束后，通过使用这样学习到的价值函数，能够不需要操作员进行的修正操作而根据状况来修正动作指令。

但是，如果使伺服电动机等电动机驱动，则电动机的电感会随着电动机的相位而发生变化。因此如果用于控制电动机驱动的控制器增益为恒定，则会随着电感的变化而产生电动机的旋转不均(ムラ)。为了抑制该旋转不均，需要根据电动机的相位来调整控制器增益。

但是，在一般技术中，不根据电动机的相位来调整控制器增益。例如，在上述专利文献1公开的技术中，记载了根据负荷、温度以及振动来修正赋予机床的动作指令的情况，但是没有记载考虑电动机的相位和调整控制器增益的情况。

另外，即使假设在一般技术中调整控制器增益，电动机的电感也会根据电动机的相位在非常短的时间内瞬间变化，所以该调整并非易事。

专利文献1：日本特开平7-210207号公报

发明内容

本发明鉴于这种情况进行的，其目的为提供能够根据电动机的相位适当地调整控制器增益的机器学习装置、伺服控制系统以及机器学习方法。

(1)本发明的机器学习装置(例如后述的机器学习装置100)，针对控制具备电动机(例如后述的电动机32)的控制对象装置(例如后述的控制对象装置300)的动作的伺服控制装置(例如后述的伺服控制装置200)进行强化学习，具备：行为信息输出单元(例如后述的行为信息输出部13)，其针对上述伺服控制装置所具备的控制器(例如后述的位置控制器23、速度控制器25以及电流控制器27)输出包括控制器增益的传输函数的系数的调整信息的行为信息；状态信息取得单元(例如后述的状态信息取得部11)，其从上述伺服控制装置取得状态信息，该状态信息包括在上述控制器根据上述行为信息使上述控制对象装置进行动作时被输入到上述控制器的指令与上述控制对象装置的实际动作之间的偏差、上述电动机的相位、上述控制器增益的传输函数的系数；回报输出单元(例如后述的回报输出121)，其根据上述状态信息中包括的上述偏差来输出强化学习的回报值；以及价值函数更新单元(例如后述的价值函数更新部122)，其根据上述回报值、上述状态信息、上述行为信息来更新行为价值函数。

(2)上述(1)记载的机器学习装置可以构成为，上述伺服控制装置进行用于修正被输入到上述控制器的指令的反馈控制，上述状态信息取得单元取得被输入到上述控制器中的指令与上述反馈控制的反馈值之间的差值作为上述偏差。

(3)上述(1)或(2)记载的机器学习装置可以构成为，上述控制器是进行位置控制、速度控制以及电流控制中的任意一个的控制器的组合，该机器学习装置在将上述控制器的任意一个作为对象进行了上述强化学习后将其他控制器的一个作为对象进行上述强化学习时，可以按照进行电流控制的控制器、进行速度控制的控制器、进行位置控制的控制器的顺序设为上述强化学习的对象。