[发明专利]控制装置以及机器学习装置

权利要求书

1.一种控制装置，其对具备多个轴，涂敷密封材料的机器人所具备的各电动机的移动速度进行调整，其特征在于，

所述控制装置具备：

机器学习装置，其对所述机器人所具备的各电动机的移动速度的调整量进行学习，

所述机器学习装置具备：

状态观测部，其将表示所述机器人所具备的各电动机的移动速度的调整量的示教速度调整量数据、表示所述机器人的前端的目标速度的目标速度数据、表示所述机器人所具备的各电动机的移动速度的移动速度数据以及表示所述机器人的前端的最近的移动路径的移动路径数据作为表示机器人的当前状态的状态变量进行观测；

判定数据获取部，其以3阶段以上获取表示所述机器人的前端的移动速度相较于所述机器人的前端的目标速度是否适当的适当与否判定结果的判定数据；以及

学习部，其使用所述状态变量和所述判定数据，将所述机器人所具备的各电动机的移动速度的调整量与所述目标速度数据、所述移动速度数据以及所述移动路径数据关联起来进行学习。

2.根据权利要求1所述的控制装置，其特征在于，

在所述判定数据中除了包含所述机器人的前端的移动速度的适当与否判定结果以外，还包含机器人的前端的位置的适当与否判定结果。

3.根据权利要求1或者2所述的控制装置，其特征在于，

所述学习部具备：

回报计算部，其求出与所述适当与否判定结果相关联的回报；以及

价值函数更新部，其使用所述回报来更新与所述机器人的前端的目标速度、所述机器人所具备的各电动机的移动速度以及所述机器人的前端的最近的移动路径相对的、表示所述机器人所具备的各电动机的移动速度的调整量的价值的函数。

4.根据权利要求1或者2所述的控制装置，其特征在于，

所述学习部以多层结构对所述状态变量和所述判定数据进行运算。

5.根据权利要求1或者2所述的控制装置，其特征在于，

所述控制装置还具备决策部，该决策部根据所述学习部的学习结果，输出基于所述机器人所具备的各电动机的移动速度的调整量的指令值。

6.根据权利要求1或者2所述的控制装置，其特征在于，

所述学习部使用针对多个机器人分别得到的所述状态变量和所述判定数据，对该多个机器人的每个所述机器人所具备的各电动机的移动速度的调整量进行学习。

7.根据权利要求1或者2所述的控制装置，其特征在于，

所述机器学习装置存在于云服务器中。

8.一种机器学习装置，其对具备多个轴，涂敷密封材料的机器人所具备的各电动机的移动速度的调整量进行学习，其特征在于，

所述机器学习装置具备：

状态观测部，其将表示所述机器人所具备的各电动机的移动速度的调整量的示教速度调整量数据、表示所述机器人的前端的目标速度的目标速度数据、表示所述机器人所具备的各电动机的移动速度的移动速度数据以及表示所述机器人的前端的最近的移动路径的移动路径数据作为表示机器人的当前状态的状态变量进行观测；

判定数据获取部，其以3阶段以上获取表示所述机器人的前端的移动速度相较于所述机器人的前端的目标速度是否适当的适当与否判定结果的判定数据；以及

学习部，其使用所述状态变量和所述判定数据，将所述机器人所具备的各电动机的移动速度的调整量与所述目标速度数据、所述移动速度数据以及所述移动路径数据关联起来进行学习。