[发明专利]多相机图像处理

权利要求书

1.一种系统，包括：

通信接口，其被配置成从与工作空间相关联的多个传感器中的每个接收图像数据，对于多个传感器中的每个传感器，图像数据包括视觉图像信息和深度信息中的一个或两者；以及

处理器，其被耦合到通信接口，并且被配置成：

合并来自多个传感器的图像数据，以生成合并的点云数据；

基于来自多个传感器中的至少传感器的子集的视觉图像数据来执行分割，以生成分割结果；以及

使用合并的点云数据和分割结果中的一个或两者来生成工作空间的合并的三维和分割视图。

2.如权利要求1所述的系统，其中，所述多个图像传感器包括一个或多个三维（3D）相机。

3.如权利要求1所述的系统，其中，视觉图像数据包括RGB数据。

4.如权利要求1所述的系统，其中，处理器被配置成使用合并的点云数据和分割结果中的一个或两者来执行关于工作空间中的对象的框拟合。

5.如权利要求4所述的系统，其中，处理器被进一步配置成使用合并的点云数据和分割结果中的一个或两者来合成用于使用机器人臂来抓取对象的策略。

6.如权利要求5所述的系统，其中，处理器被进一步配置成实现用于使用机器人臂来抓取对象的策略。

7.如权利要求6所述的系统，其中，处理器被配置成结合机器人操作来抓取对象，以从起始位置拾取对象并将所述对象放置在工作空间中的目的地位置中。

8.如权利要求1所述的系统，其中，处理器被进一步配置成使用工作空间的合并的三维和分割视图来显示工作空间的可视化。

9.如权利要求8所述的系统，其中，显示的可视化醒目显示如在工作空间内描绘的对象。

10.如权利要求1所述的系统，其中，处理器被配置成使用合并的点云数据和分割结果来至少部分地通过将包括分割结果的一组点去投影到合并的点云中，来生成工作空间的合并的三维和分割视图。

11.如权利要求1所述的系统，其中，处理器被进一步配置成对合并的点云数据进行二次采样。

12.如权利要求11所述的系统，其中，处理器被进一步配置成对二次采样的点云数据执行聚类处理。

13.如权利要求12所述的系统，其中，处理器被配置成使用二次采样和聚类的点云数据以及分割结果来生成关于工作空间中的对象的框拟合结果。

14.如权利要求1所述的系统，其中，处理器被进一步配置成至少部分地基于与不包括在传感器的子集中的传感器相关联的视觉图像数据来验证工作空间的合并的三维和分割视图。

15.如权利要求14所述的系统，其中，处理器被配置成至少部分地基于与不包括在传感器的子集中的传感器相关联的视觉图像数据，至少部分地通过使用工作空间的合并的三维和分割视图来验证工作空间的合并的三维和分割视图，来生成关于工作空间中的对象的第一框拟合结果；使用与不包括在传感器的子集中的传感器相关联的视觉图像数据来生成关于工作空间中的对象的第二框拟合结果；以及使用第一框拟合和第二框拟合来确定针对对象的验证的框拟合。

16.如权利要求1所述的系统，其中，处理器被配置成至少部分地通过实现用户定义的处理流水线来合并和处理图像数据。

17.如权利要求16所述的系统，其中，处理器被配置成接收并解析用户定义的处理流水线的定义。