[发明专利]基于局部视觉信息的对象尺寸标注系统和方法

说明书

一种用于由计算系统估计紧密包围边界框的方法包含：控制包含一个或多个深度相机的扫描系统以捕获包含一个或多个对象的场景的视觉信息；基于所述视觉信息检测所述场景的所述一个或多个对象；从所述场景的帧中分离所述一个或多个对象中的每一个，以生成对应于所述一个或多个对象的一个或多个3D模型，所述一个或多个3D模型包含所述一个或多个对象中的对应一个的局部3D模型；基于所述局部3D模型外推所述一个或多个对象中的所述对应一个的较完整3D模型；以及基于所述较完整3D模型估计所述一个或多个对象中的所述对应一个的紧密包围边界框。

相关申请的交叉引用

本申请要求2018年12月20日在美国专利商标局提交的第62/783141号美国临时专利申请的权益，所述申请的全部公开内容以引用的方式并入本文中。

技术领域

本发明实施例的各方面涉及基于有关对象的局部视觉信息自动估计或确定对象的物理尺寸的系统和方法。

背景技术

测量或估计对象的尺寸，包含对象的体积，是资源规划和物流等领域的常见任务。例如，当将盒子装载到一辆或多辆卡车上时，对盒子大小和形状的估计会有助于在不同卡车之间有效分配盒子，以减少或最小化卡车中的空位。作为另一示例，货运公司或航运公司可以根据待运输包装的尺寸(以及质量或重量)向其客户开具账单。

作为另一示例，邮购零售商可能有兴趣识别用于装运各种零售商品的正确大小的盒子。虽然这些商品中有许多可能是长方体形状(例如，因为它们是盒装出售的)，但许多其它商品(例如一瓶洗衣剂或一把园艺用铲子)的形状可能不规则。为了降低装运成本，这些邮购零售商可能希望找到大小最小的盒子来装纳作为特定客户订单一部分装运的物品。

通过将例如卷尺或直尺的测量装置物理地靠在对象上来测量对象尺寸的比较技术通常耗时且昂贵。

发明内容

本公开实施例的各方面涉及基于有关对象的局部视觉信息自动测量或估计对象的尺寸和/或体积的系统和方法。

根据本发明的一个实施例，一种用于估计紧密包围边界框的方法包含：由计算系统控制包含一个或多个深度相机的扫描系统以捕获包含一个或多个对象的场景的视觉信息；由所述计算系统基于所述视觉信息检测所述场景的所述一个或多个对象；由所述计算系统从所述场景的帧中分离所述一个或多个对象中的每一个，以生成对应于所述一个或多个对象的一个或多个3D模型，所述一个或多个3D模型包含所述一个或多个对象中的对应一个的局部3D模型；由所述计算系统基于所述局部3D模型外推所述一个或多个对象中的所述对应一个的较完整3D模型；以及由所述计算系统基于所述较完整3D模型估计所述一个或多个对象中的所述对应一个的紧密包围边界框。

所述扫描系统可以包含与所述一个或多个深度相机分开的一个或多个彩色相机。

所述一个或多个深度相机可以包含：飞行时间深度相机；结构光深度相机；立体深度相机，其包含至少两个彩色相机；立体深度相机，其包含：至少两个彩色相机；和彩色投影仪；立体深度相机，其包含至少两个红外相机；或立体深度相机，其包含：彩色相机；多个红外相机；和红外投影仪，其被配置成以所述多个红外相机可检测的波长间隔发射光。

所述检测所述场景中的所述一个或多个对象可以包含将所述一个或多个对象从所述视觉信息中的背景和地平面的绘图分离。

所述外推所述较完整3D模型可以包含将所述局部3D模型提供给生成模型，所述生成模型经过训练以基于输入的局部3D模型预测生成的3D模型，所述较完整3D模型包含所述生成的3D模型。

所述生成模型可以包含条件生成对抗网络。

所述外推所述较完整3D模型可以包含搜索3D模型库存以查找与所述局部3D模型匹配的模型，并将与所述局部3D模型匹配的所述模型输出为所述较完整3D模型。