[发明专利]基于相机生成的图像信息执行运动规划的方法和计算系统

说明书

公开了基于由相机生成的图像信息执行运动规划的方法和计算系统。提出了一种用于运动规划的系统和方法。该系统被配置为当物体处于或已经处于相机的相机视野时，接收当相机具有第一相机姿势时生成的第一图像信息。该系统还被配置为基于第一图像信息确定对物体结构的第一估计，以及基于对物体结构的第一估计或基于第一图像信息标识物体角。该系统还被配置使末端执行器装置将相机移动到第二相机姿势，以及接收用于表示物体结构的第二图像信息。该系统被配置为基于第二图像信息确定对物体结构的第二估计，以及至少基于第二估计来生成运动规划。

本申请是申请日为2020年10月29日、题为“基于由相机生成的图像信息执行运动规划的方法和计算系统”的发明专利申请202080004033.7的分案申请。

对相关申请的交叉引用

本申请要求2019年12月12日提交的题为“ROBOTIC SYSTEM WITH GRIPPINGMECHANISM”的第62/946,973号美国临时申请的权益，该美国临时申请的全部内容通过引用并入本文中。

技术领域

本公开涉及一种基于由相机生成的图像信息来执行运动规划的方法和计算系统。

背景技术

随着自动化变得更加普遍，机器人正在更多环境中使用，诸如在仓储和零售环境中。例如，机器人可以被用于与仓库中的商品或其他物体进行交互。机器人的移动可以是固定的，也可以基于输入，诸如由仓库中的传感器生成的信息。

发明内容

本公开的一个方面涉及一种用于促进运动规划和/或用于估计物体的结构的计算系统、方法和非暂时性计算机可读介质。在实施例中，方法可以由计算系统执行，诸如通过执行非暂时性计算机可读介质上的指令。计算系统包括通信接口和至少一个处理电路。通信接口被配置为与以下进行通信：(i)具有末端执行器装置(end effector apparatus)的机器人；以及(ii)安装在该末端执行器装置上并具有相机视野的相机。至少一个处理电路被配置为当物体处于或已经处于相机视野时：接收用于表示与物体相关联的物体结构的至少第一外表面的第一图像信息，其中第一图像信息是在相机具有第一相机姿势时由相机生成的，在该第一相机姿势中相机被指向第一外表面，使得相机视野包含第一外表面；基于第一图像信息确定对物体结构的第一估计；基于对物体结构的第一估计或基于第一图像信息，标识物体结构的角；确定第二相机姿势，当该第二相机姿势被相机采用时，使相机被指向物体结构的该角，使得相机视野包含该角和物体结构的第二外表面的至少一部分；输出一个或多个相机放置移动命令，当该一个或多个相机放置移动命令由机器人执行时，使末端执行器装置将相机移动到第二相机姿势；接收用于表示物体结构的第二图像信息，其中该第二图像信息是在相机具有第二相机姿势时由相机生成的；基于第二图像信息确定对物体结构的第二估计；至少基于对物体结构的第二估计来生成运动规划，其中，该运动规划用于引起机器人与物体之间的机器人交互；以及输出用于引起该机器人交互的一个或多个物体交互移动命令，其中该一个或多个物体交互移动命令是基于该运动规划生成的。

附图说明

图1A至图1D示出了根据本文的实施例的用于处理图像信息的系统。

图2A至图2D提供了示出根据本文的实施例的被配置用于接收和处理图像信息和/或执行运动规划的计算系统的框图。

图3A和图3B示出了根据本文的实施例的具有用于执行运动规划的机器人臂和末端执行器装置的环境。

图4A至图4D示出了根据本文的实施例的各种末端执行器装置。

图5示出了示出根据本文的实施例的用于生成运动规划的示例方法的流程图。

图6A至图6C示出了根据本文的实施例的生成用于表示物体或物体的堆叠(stack)的图像信息的各个方面。

图7A至图7D示出了根据本文的实施例的生成用于表示物体或物体的堆叠的图像信息的各个方面。