[发明专利]把持系统、学习装置和把持方法

权利要求书

1.一种把持系统，其具有：

手，其对工件进行把持；

机器人，其支承所述手，对所述手的位置和姿态中的至少一方进行变更；

图像传感器，其从与所述手的位置和姿态中的至少一方联动的视点取得图像信息；

构建部，其根据收集数据而通过机器学习来构建提取模型和指令模型，该提取模型接受所述图像传感器取得的所述图像信息的输入，输出与所述工件对应的特征量，该指令模型接受所述提取模型输出的所述特征量、以及表示取得所述图像信息的时刻的所述手的位置和姿态中的至少一方的手位置信息的输入，输出所述机器人的动作指令；

运算部，其根据所述图像信息、所述手位置信息、所述提取模型以及所述指令模型，运算所述机器人的动作指令；以及

机器人控制部，其根据所述运算部运算出的所述机器人的动作指令，使所述机器人进行动作。

2.根据权利要求1所述的把持系统，其中，

所述运算部具有：

提取部，其使用所述提取模型根据所述图像信息以及所述图像信息中包含的所述工件的位置信息，提取与所述工件对应的特征量；以及

输出部，其根据所述提取部提取出的所述特征量、所述手位置信息以及所述指令模型，输出所述机器人的动作指令。

3.根据权利要求2所述的把持系统，其中，

所述提取部根据所述视点不同的多个所述图像信息、以及所述多个图像信息各自包含的同一所述工件的所述位置信息，提取与所述工件对应的特征量。

4.根据权利要求2或3所述的把持系统，其中，

所述构建部具有：

提取模型构建部，其根据所述收集数据而通过机器学习构建提取模型，该提取模型接受所述图像信息和所述位置信息的输入，输出所述特征量；以及

指令模型构建部，其根据所述收集数据而通过机器学习构建所述指令模型，

所述提取部使用所述提取模型提取所述特征量。

5.根据权利要求4所述的把持系统，其中，

所述手是夹持器，

所述指令模型构建部构建如下的所述指令模型，该指令模型除了接受所述特征量和所述手位置信息的输入以外，还接受所述夹持器的开闭度的输入，除了输出所述动作指令以外，还输出所述夹持器的目标开闭度，

所述输出部使用所述指令模型，根据所述特征量、所述手位置信息以及所述开闭度输出所述动作指令和所述目标开闭度，

所述机器人控制部根据所述目标开闭度使所述夹持器进行动作。

6.根据权利要求2或3所述的把持系统，其中，

所述图像传感器配置成将所述手的前端包含于所述图像信息。

7.根据权利要求2或3所述的把持系统，其中，

所述运算部还具有计算部，该计算部根据所述机器人的动作指令和与所述工件对应的特征量，计算表示能够用所述手把持的概率的把持概率，

所述机器人控制部根据所述计算部计算出的所述把持概率，使所述机器人进行动作。

8.根据权利要求7所述的把持系统，其中，

所述构建部还具有把持概率模型构建部，该把持概率模型构建部根据所述收集数据而通过机器学习构建把持概率模型，该把持概率模型接受所述机器人的动作指令和与所述工件对应的特征量的输入，输出所述把持概率，

所述计算部使用所述把持概率模型计算所述把持概率。

9.根据权利要求7所述的把持系统，其中，

所述机器人控制部在所述把持概率为预先设定的阈值以上的情况下，使所述机器人进行把持动作，

所述机器人控制部在所述把持概率小于所述阈值的情况下，再次使所述提取部执行与所述工件对应的特征量的提取、并且使所述输出部执行所述机器人的动作指令的输出。