[发明专利]基于来自远程客户端设备的输入的高效机器人控制

权利要求书

1.一种方法，包括：

从环境的第一区域中的一个或多个视觉部件接收在第一时间捕获所述第一区域的特征的视觉数据，所述第一区域的特征包括在所述第一时间位于所述第一区域中的对象的对象特征；

在完成将所述对象从所述第一区域传输到所述环境的未被所述视觉数据捕获的不同机器人工作空间之前：

经由一个或多个网络向远程客户端设备传送基于所述视觉数据生成的视觉表示，所述视觉表示包括基于所述对象特征生成的对象表示，以及

经由所述一个或多个网络从所述远程客户端设备接收基于在所述远程客户端设备处的一个或多个用户接口输入生成的数据，所述一个或多个用户接口输入在所述视觉表示被渲染在所述远程客户端设备处时指向所述视觉表示；

基于所述数据确定用于由在所述机器人工作空间中操作的机器人操纵所述对象的一个或多个对象操纵参数；以及

响应于检测到所述对象在所述机器人工作空间内根据所述一个或多个对象操纵参数使所述机器人操纵所述对象，其中，在将所述对象从所述第一区域传输到所述机器人工作空间之后并且在所述第一时间之后的第二时间，所述对象在所述机器人工作空间内。

2.根据权利要求1所述的方法，其中，确定所述一个或多个对象操纵参数也在完成将所述对象从所述第一区域传输到所述机器人工作空间之前。

3.根据权利要求1或权利要求2所述的方法，其中所述一个或多个对象操纵参数包括用于抓取所述对象的抓取姿势，并且其中在所述传输之后响应于检测到所述对象在所述机器人工作空间内根据所述一个或多个对象操纵参数使所述机器人操纵所述对象包括：

使所述机器人的末端执行器遍历到所述抓取姿势，并且在遍历到所述抓取姿势之后尝试对所述对象的抓取。

4.根据前述权利要求中的任一项所述的方法，其中，所述数据定义相对于第一参考坐标系的一个或多个姿势和/或一个或多个点，并且其中，生成所述一个或多个对象操纵参数包括：

将所述一个或多个姿势和/或所述一个或多个点变换到与所述参考坐标系不同的机器人坐标系；以及

在生成所述对象操纵参数时使用经变换的姿势和/或点。

5.根据前述权利要求中的任一项所述的方法，还包括：

在使所述机器人操纵所述对象之后：

基于来自一个或多个附加传感器的附加传感器数据来确定所述操纵的成功测量；

基于所述成功测量满足阈值来生成肯定训练实例；以及

基于所述肯定训练实例来训练机器学习模型。

6.根据权利要求5所述的方法，其中，所述一个或多个附加传感器包括以下中的一个或多个：机器人视觉部件、所述机器人的扭矩传感器和所述环境中的重量传感器。

7.根据权利要求5或权利要求6所述的方法，其中，生成所述肯定训练实例包括基于所述视觉数据或基于来自所述机器人的一个或多个机器人视觉部件的机器人视觉数据来生成所述肯定训练实例的训练实例输入。

8.根据权利要求7所述的方法，其中，生成所述肯定训练实例包括基于所述对象操纵参数来生成所述肯定训练实例的训练实例输出。

9.根据权利要求8所述的方法，还包括：

在基于所述肯定训练实例来训练所述机器学习模型之后，还包括：

使用所述机器学习模型来处理捕获附加对象的附加视觉数据；

基于所述处理来生成用于所述附加对象的一个或多个所预测的对象操纵参数；以及

根据所述一个或多个所预测的对象操纵参数使所述机器人操纵所述附加对象。