[发明专利]机器学习装置、伺服电动机控制装置、伺服电动机控制系统以及机器学习方法

说明书

本发明提供一种机器学习装置、伺服电动机控制装置、伺服电动机控制系统以及机器学习方法。机器学习装置针对具备非线性摩擦补偿器的伺服电动机控制装置进行机器学习，其具备：状态信息取得部，通过使伺服电动机控制装置执行预定的程序，从伺服电动机控制装置取得状态信息，该状态信息包含至少包含位置偏差的伺服状态以及非线性摩擦补偿部的修正系数的组合；行为信息输出部，向伺服电动机控制装置输出行为信息，该行为信息包含在状态信息中包含的修正系数的组合的调整信息；回报输出部，输出基于状态信息中包含的位置偏差的强化学习中的回报的值；价值函数更新部，根据通过回报输出部输出的回报的值、状态信息以及行为信息来更新行为价值函数。

技术领域

本发明涉及一种对于进行非线性摩擦的修正的伺服电动机控制装置，进行与非线性摩擦的修正中的修正系数有关的学习的机器学习装置、包含该机器学习装置的伺服电动机控制装置、伺服电动机控制系统以及机器学习方法。

背景技术

关于现有的伺服电动机控制装置，例如已知专利文献1中记载的电动机控制装置、专利文献2中记载的伺服控制装置以及专利文献3中记载的电动机控制装置。

专利文献1中记载的电动机控制装置具有：速度前馈控制部，其根据位置指令生成用于减少位置偏差的速度前馈指令；以及转矩前馈控制部，其根据位置指令生成用于减少位置偏差的转矩前馈指令。

专利文献2中记载的伺服控制装置具有根据位置指令来生成前馈指令的前馈补偿器。另外，专利文献2中记载的伺服控制装置具有用于对由于机床中的摩擦的影响而导致的控制误差进行补偿的摩擦补偿装置。

专利文献3中记载的电动机控制装置具有补偿计算部，其用于根据通过干扰观测器推定出的摩擦转矩和转矩指令来补偿操纵杆运动，并根据速度指令来补偿空转。

关于伺服电动机控制装置中的伺服电动机的反转动作时的控制偏差的原因，考虑伺服系统的响应延迟、机械系统的弹性变形以及摩擦的影响。控制偏差尤其受到摩擦中的非线性摩擦的影响较大，修正非线性摩擦对提高伺服性能非常重要。

专利文献1：日本特开2016-101017号公报

专利文献2：日本特开2015-018496号公报

专利文献3：日本特开2004-280565号公报

发明内容

本发明的目的在于，提供一种进行非线性摩擦的补偿，改善伺服电动机的反转动作时的伺服系统的响应性的机器学习装置、伺服电动机控制装置、伺服电动机控制系统以及机器学习方法。

(1)本发明的机器学习装置(例如，后述的机器学习装置200)是针对具备非线性摩擦补偿部(例如，后述的非线性摩擦补偿器111)的伺服电动机控制装置(例如，后述的伺服电动机控制装置100)进行机器学习的机器学习装置，所述非线性摩擦补偿部根据位置指令生成对于非线性摩擦的修正值，机器学习装置具备：状态信息取得部(例如，后述的状态信息取得部201)，其通过使所述伺服电动机控制装置执行预定的程序，从所述伺服电动机控制装置取得状态信息，所述状态信息包含：至少包含位置偏差的伺服状态以及所述非线性摩擦补偿部的修正系数的组合；行为信息输出部(例如，后述的行为信息输出部203)，其向所述伺服电动机控制装置输出行为信息，所述行为信息包含在所述状态信息中包含的所述修正系数的组合的调整信息；回报输出部(例如，后述的回报输出部2021)，其输出基于所述状态信息中包含的所述位置偏差的强化学习中的回报的值；以及价值函数更新部(例如，后述的价值函数更新部2022)，其根据通过所述回报输出部输出的回报的值、所述状态信息、所述行为信息来更新行为价值函数。

(2)在上述(1)的机器学习装置中，所述回报输出部可以根据所述位置偏差的绝对值来输出所述回报的值。