[发明专利]用于语义机器人抓取的机器学习方法和装置

权利要求书

1.一种由一个或多个处理器实施的用于语义机器人抓取的方法，包括：

识别期望的对象语义特征；

生成定义运动的候选末端执行器运动矢量，以将机器人的抓取末端执行器从给定姿势移动到附加姿势；

识别由所述机器人的视觉组件捕获的图像，所述图像捕获所述抓取末端执行器和所述机器人的环境中的对象；

将所述图像和所述候选末端执行器运动矢量作为输入应用于训练后的联合神经网络；

基于将所述图像和所述末端执行器运动矢量应用于所述训练后的联合神经网络来生成联合输出，

其中，所述训练后的联合神经网络是基于以下内容进行训练的：

基于抓取预测而生成的抓取损失，所述抓取预测是基于使用所述联合神经网络生成的训练输出、通过抓取神经网络而生成的，以及

基于语义预测而生成的语义损失，所述语义预测是基于使用所述联合神经网络生成的训练输出、通过语义神经网络而生成的；

将所述联合输出应用于所述语义神经网络的训练后版本；

使用基于所述联合输出的所述语义神经网络的训练后版本生成语义神经网络输出，所述语义神经网络输出指示所述对象是否包括所述期望的对象语义特征；

生成抓取成功度量，生成所述抓取成功度量包括：

基于将所述联合输出应用于所述抓取神经网络的训练后版本来生成所述抓取成功度量，或者

基于将所述图像和所述末端执行器运动矢量应用于附加训练后的抓取神经网络来生成所述抓取成功度量；

基于所述抓取成功度量和指示所述对象是否包括所述期望的对象语义特征的语义模型输出来生成末端执行器命令；以及

将所述末端执行器命令提供给所述机器人的一个或多个致动器。

2.根据权利要求1所述的方法，其中，生成所述抓取成功度量包括：基于将所述联合输出应用于所述抓取神经网络的训练后版本来生成所述抓取成功度量。

3.根据权利要求1所述的方法，其中，生成所述抓取成功度量包括：基于将所述图像和所述末端执行器运动矢量应用于所述附加训练后的抓取神经网络来生成所述抓取成功度量。

4.根据权利要求3所述的方法，其中，所述附加训练后的抓取神经网络是独立于所述抓取神经网络、所述联合神经网络和所述语义神经网络进行训练的。

5.根据前述权利要求中任一项所述的方法，其中，在生成所述语义模型输出时，所述图像不直接作为输入应用于所述语义神经网络。

6.根据权利要求1所述的方法，其中，在生成所述语义模型输出时，所述联合输出是应用于所述语义神经网络的唯一输入。

7.根据权利要求1所述的方法，其中，在基于所述抓取损失来训练所述联合神经网络时，还基于所述抓取损失来训练所述抓取神经网络，而不基于所述抓取损失来训练所述语义神经网络，其中，所述抓取损失是基于通过所述抓取神经网络生成的所述抓取预测而生成的。

8.根据权利要求1所述的方法，其中，在基于所述语义损失来训练所述联合神经网络时，还基于所述语义损失来训练所述语义神经网络，而不基于所述语义损失来训练所述抓取神经网络，其中，所述语义损失是基于通过所述语义神经网络生成的所述语义预测而生成的。

9.根据权利要求1所述的方法，其中，所述期望的对象语义特征定义对象分类。

10.根据权利要求1所述的方法，其中，对于多个对象分类中的每一个，所述语义模型输出指示所述对象具有所述对象分类中的对应一个的可能性。

11.根据权利要求1所述的方法，还包括：

从用户界面输入设备接收用户界面输入；

其中，基于所述用户界面输入来识别所述期望的对象语义特征。