[发明专利]基于局部视觉信息的对象尺寸标注系统和方法

权利要求书

1.一种用于估计紧密包围边界框的方法，其特征在于，包括：

由计算系统控制包括一个或多个深度相机的扫描系统以捕获包括一个或多个对象的场景的视觉信息；

由所述计算系统基于所述视觉信息检测所述场景的所述一个或多个对象；

由所述计算系统从所述场景的帧中分离所述一个或多个对象中的每一个，以生成对应于所述一个或多个对象的一个或多个3D模型，所述一个或多个3D模型包括所述一个或多个对象中的对应一个的局部3D模型；

由所述计算系统基于所述局部3D模型外推所述一个或多个对象中的所述对应一个的较完整3D模型；以及

由所述计算系统基于所述较完整3D模型估计所述一个或多个对象中的所述对应一个的紧密包围边界框。

2.根据权利要求1所述的方法，其特征在于：所述扫描系统进一步包括与所述一个或多个深度相机分开的一个或多个彩色相机。

3.根据权利要求1所述的方法，其特征在于：所述一个或多个深度相机包括：

飞行时间深度相机；

结构光深度相机；

立体深度相机，其包括至少两个彩色相机；

立体深度相机，其包括：

至少两个彩色相机；和

彩色投影仪；

立体深度相机，其包括至少两个红外相机；或

立体深度相机，其包括：

彩色相机；

多个红外相机；和

红外投影仪，其被配置成以所述多个红外相机能检测的波长间隔发射光。

4.根据权利要求1所述的方法，其特征在于：所述检测所述场景中的所述一个或多个对象包括将所述一个或多个对象从所述视觉信息中的背景和地平面的绘图分离。

5.根据权利要求1所述的方法，其特征在于：所述外推所述较完整3D模型包括将所述局部3D模型提供给生成模型，所述生成模型经过训练以基于输入的局部3D模型预测生成的3D模型，所述较完整3D模型包括所述生成的3D模型。

6.根据权利要求5所述的方法，其特征在于：所述生成模型包括条件生成对抗网络。

7.根据权利要求1所述的方法，其特征在于：所述外推所述较完整3D模型包括搜索3D模型库存以查找与所述局部3D模型匹配的模型，并将与所述局部3D模型匹配的所述模型输出为所述较完整3D模型。

8.根据权利要求7所述的方法，其特征在于：所述库存的所述3D模型中的每一个与特征空间中的对应描述符相关联，并且

其中所述搜索所述3D模型库存包括：

通过将所述局部3D模型提供给包括卷积神经网络的特征提取器来提取所述局部3D模型的描述符；以及

根据所述局部3D模型的所述描述符与所述库存的所述3D模型的所述描述符之间的最高相似性识别与所述局部3D模型匹配的所述模型。

9.根据权利要求8所述的方法，其特征在于：所述提取所述局部3D模型的所述描述符包括：

定义围绕所述3D模型的边界框；

对所述局部3D模型进行体素化以计算多个体素；以及

将所述体素提供给所述卷积神经网络。

10.根据权利要求8所述的方法，其特征在于：所述提取所述局部3D模型的所述描述符包括：

渲染所述局部3D模型的多个2D视图；

通过将所述多个2D视图提供给第一级卷积神经网络，从所述局部3D模型的所述2D视图中提取特征向量；以及

组合所述特征向量以生成所述描述符。

11.根据权利要求10所述的方法，其特征在于：所述特征向量是使用最大池化组合的。