[发明专利]基于来自远程客户端设备的输入的高效机器人控制

说明书

在控制环境中的机器人时利用来自远程客户端设备的用户接口输入。实现方式涉及基于由用户接口输入的示例所定义的对象操纵参数来生成训练实例，并且训练机器学习模型来预测对象操纵参数。那些实现方式可以随后利用经训练的机器学习模型来减少在执行给定组的机器人操纵时请求来自远程客户端设备的输入的实例的数量,和/或减少在执行给定组的机器人操作时来自远程客户端设备的输入的程度。实现方式附加地或替换地涉及通过利用在要由机器人操纵的对象被传输到机器人可以达到并且操作该对象的机器人工作空间之前捕获该对象的视觉数据来减少机器人的空闲时间。

背景技术

在工业或商业设置中，机器人通常被预编程以重复执行特定任务。例如，机器人可以被预编程以重复地将紧固件施加到装配线中的特定装配部件。而且，例如，机器人可以被预编程以重复地抓取特定装配部件并且将其从固定的第一位置移动到固定的第二位置。在抓取对象时，机器人可以使用抓取末端执行器，诸如“冲击”末端执行器(例如，使用“爪子”或其他手指向对象的区域施加力)、“侵入”末端执行器(例如，使用钉、针等物理地穿透对象)、“收缩”末端执行器(例如，使用吸力或真空来拾取对象)和/或一个或多个“接触”末端执行器(例如，使用表面张力、冷冻或粘合剂来拾取对象)。

这样的方法在其中对受约束的部件组重复地执行受约束的动作的环境中可以很好地工作。然而，在机器人被分派执行各种各样的动作和/或在可选地包括机器人尚未被预编程的新部件的不同组的部件上执行动作的任务的环境中，这样的方法可能失败。此外，这样的方法在对机器人进行预编程时需要显著的工程努力(以及计算资源的相关联的使用)。此外，为了在环境中容纳机器人，这样的方法可能需要对工业或商业环境进行显著的重新配置。

另外，提出了在循环方法中的一些人，其中人重复地提供相同类型的引导以辅助机器人执行任务。然而，这样的方法可能遭受各种缺点。例如，一些方法可能导致机器人在请求和/或等待人引导时空闲，这导致机器人的低效操作。此外，例如，一些方法总是请求人引导和/或相同类型的引导。这限制了机器人操作更有效地操作的能力。

发明内容

本文所公开的实现方式涉及在控制环境中的机器人时利用来自远程客户端设备的用户接口输入。在远程客户端设备处提供的用户接口输入的实例(直接地或间接地)指示机器人在操纵至少一个对象时要使用的一个或多个对象操纵参数。例如，由用户接口输入的实例指示的对象操纵参数可以包括以下中的一个或多个：抓取姿势；放置姿势；在遍历到抓取姿势时要遇到的路点序列；(在抓取对象之后)在朝向放置姿势遍历时要遇到的路点序列；在遍历到操纵姿势(例如，抓取姿势或其他操纵姿势)和/或从该操纵姿势遍历时的完整路径或迹线(即，具有速度、加速度、加加速度和/或其他参数的路径)；和/或其它对象操纵参数，诸如但不限于在本文另外详细描述的那些。

实例的用户接口输入参考包括至少一个对象的对象表示的视觉表示来提供。视觉表示还可以可选地包括其他环境对象的环境表示(例如，工作表面、其中要放置至少一个对象的容器)和/或机器人的全部或部分的机器人表示。视觉表示可以例如在由远程客户端设备控制的独立显示屏上或者在由远程客户端设备控制的虚拟现实(VR)头戴式设备上被渲染。例如，可以经由鼠标、触摸屏、VR手控制器和/或VR手套来提供用户接口输入。本文提供了示例视觉表示以及它们如何被渲染的附加描述，包括以减少网络流量和/或减少在渲染视觉表示时的延迟的方式生成视觉表示的实现方式的描述。