[发明专利]控制装置以及机器学习装置

说明书

本发明提供控制装置以及机器学习装置，控制装置所具备的机器学习装置将机器人所具备的各电动机的移动速度及其移动速度的调整量、机器人的前端的目标速度以及与机器人的前端的最近的移动路径有关的数据作为表示环境的当前状态的状态变量进行观测，并且，获取表示机器人的前端的移动速度的适当与否判定结果的判定数据。而且，使用观测到的状态变量以及获取到的判定数据，将机器人所具备的各电动机的移动速度的调整量与目标速度数据、移动速度数据以及移动路径数据关联起来进行学习。

技术领域

本发明涉及控制装置以及机器学习装置，特别是涉及使示教速度优化的控制装置以及机器学习装置。

背景技术

一般工业用的机器人按预先制作的动作程序进行驱动，或者以通过被示教器等预先示教的示教点的方式使机器人以示教速度进行驱动。即，机器人沿预定的轨道以预定速度进行驱动。作为与机器人的示教动作有关的现有技术，例如在日本特开平06-285402号公报中公开了为了使机器人进行密封作业，而对该机器人示教密封动作(示教点、示教速度等)的技术。

在上述日本特开平06-285402号公报所公开的技术中，根据机器人的移动速度对密封剂供给泵的电动机的转动速度进行控制来向密封枪提供密封剂，由此在对象物的每个单位距离中涂敷的密封剂的量与机器人的移动速度无关地被保持为固定的值，以使凸起部的膜厚保持为固定。然而，这种具备压力控制功能的泵价格高昂，从而导致系统整体的成本上升。为了抑制系统整体的成本，考虑控制成一边将机器人的前端具备的密封枪的移动速度保持为固定一边移动示教点。如果能够进行这种控制，则能够使用仅可控制开启(ON)/关闭(OFF)的廉价的泵来降低系统整体的成本。然而，机器人的前端的移动路径或移动速度被多个电动机的移动综合决定，在对一个电动机的移动施加变更时，机器人的前端的移动如何变化依赖于其它电动机的移动状态或加减速状态。因此，调整成一边将机器人的前端的移动速度维持为固定一边按移动路径进行移动对于熟练的操作员来说也是较难的，需要反复进行试错，从而存在操作员付出大量劳力这种问题。

发明内容

因此，本发明的目的在于提供一种能够调整为机器人的前端的示教速度与规定的目标速度一致的控制装置以及机器学习装置。

在本发明的控制装置中，对与机器人的前端的目标速度、该机器人所具备的各电动机的当前速度以及该机器人的前端的移动路径相对的、该机器人所具备的各电动机的移动速度的调整量进行机器学习，根据该机器学习的结果进行控制，以使在机器人移动至示教位置时，机器人的前端的移动速度与目标速度一致，由此解决上述问题。

本发明的第一方式的控制装置对涂敷密封材料的机器人所具备的各电动机的移动速度进行调整，该控制装置具备机器学习装置，该机器学习装置对所述机器人所具备的各电动机的移动速度的调整量进行学习。所述机器学习装置具备：状态观测部，其将表示所述机器人所具备的各电动机的移动速度的调整量的示教速度调整量数据、表示所述机器人的前端的目标速度的目标速度数据、表示所述机器人所具备的各电动机的移动速度的移动速度数据以及表示所述机器人的前端的最近的移动路径的移动路径数据作为表示环境的当前状态的状态变量进行观测；判定数据获取部，其获取表示所述机器人的前端的移动速度的适当与否判定结果的判定数据；以及学习部，其使用所述状态变量和所述判定数据，将所述机器人所具备的各电动机的移动速度的调整量与所述目标速度数据、所述移动速度数据以及所述移动路径数据关联起来进行学习。

在所述判定数据中除了包含所述机器人的前端的移动速度的适当与否判定结果以外，还能够包含机器人的前端的位置的适当与否判定结果。

所述学习部能够具备：回报计算部，其求出与所述适当与否判定结果相关联的回报；以及价值函数更新部，其使用所述回报来更新与所述机器人的前端的目标速度、所述机器人所具备的各电动机的移动速度以及所述机器人的前端的最近的移动路径相对的、表示所述机器人所具备的各电动机的移动速度的调整量的价值的函数。

所述学习部能够以多层结构对所述状态变量和所述判定数据进行运算。