[发明专利]用于包括姿态和大小估计的对象检测的系统和方法

权利要求书

1.一种用于二维(2D)图像中的三维(3D)对象检测的计算机实现的方法，所述方法包括：

由一个或多个计算设备获得包括对象的2D图像，其中，2D图像包括多个像素；

由一个或多个计算设备将2D图像输入到包括多个头的机器学习对象检测模型中，其中，多个头包括：

第一头，被配置为生成质心热图，其中质心热图提供多个像素中的每个像素的相应热值，其中每个像素的相应热值描述对象的质心由所述像素描绘的概率；和

第二头，被配置为生成多个距离场，其中每个距离场提供多个像素中的每个像素的相应距离值，其中每个像素的相应距离值指示到与所述对象的边界框相关联的多个顶点中的一个顶点的距离；

由一个或多个计算设备利用机器学习对象检测模型的第一头生成质心热图；

由一个或多个计算设备利用机器学习对象检测模型的第二头生成多个距离场；以及

由一个或多个计算设备至少部分地基于质心热图和多个距离场来确定包括关于与2D图像中的对象相关联的边界框的3D坐标的数据集。

2.根据任一前述权利要求所述的计算机实现的方法，其中

由一个或多个计算设备至少部分地基于质心热图和多个距离场来确定包括关于边界框的3D坐标的数据集包括：

由一个或多个计算设备至少部分地基于质心热图来识别对象的质心；

由一个或多个计算设备对多个距离场应用投票方案，以识别2D图像中的所述边界框的顶点的多个2D投影；以及

由一个或多个计算设备从顶点的多个2D投影来重构用于定义所述边界框的3D坐标。

3.根据任一前述权利要求所述的计算机实现的方法，其中，多个头还包括：

第三头，被配置为生成对象的分割掩码，其中分割掩码为多个像素中的每个像素提供二进制响应，二进制响应将每个像素指示为与背景或对象相关联。

4.根据任一前述权利要求所述的计算机实现的方法，其中，使用二元正态分布来确定多个像素中的每个像素的相应热值。

5.根据任一前述权利要求所述的计算机实现的方法，其中，生成多个距离场至少部分地基于多个像素中的每个像素的相应热值。

6.根据任一前述权利要求所述的计算机实现的方法，其中，数据集包括多个顶点中的每个顶点的x、y、z坐标。

7.根据权利要求6所述的计算机实现的方法，其中，所述多个顶点中的每个顶点的x、y、z坐标定义以下中的一个或多个：所述对象的3D位置、对象方位和对象大小。

8.根据任一前述权利要求所述的计算机实现的方法，还包括：

由一个或多个计算设备获取与2D图像相关联的一个或多个相机本征、与2D图像相关联的增强现实数据、或者组合，并且其中确定3D坐标包括至少部分地基于与2D数据相关联的增强现实数据、一个或多个相机本征或两者来生成物理比例。

9.根据任一前述权利要求所述的计算机实现的方法，其中，机器学习对象检测模型是使用数据集训练的，所述数据集包括：

一个或多个增强图像，其中可选地，一个或多个增强图像中的至少一个增强图像包括分割标签，分割标签将一个增强图像中的每个像素定义为背景或与对象相关联，并且其中每个增强图像是使用增强现实引擎生成的。

10.根据权利要求10所述的计算机实现的方法，其中，生成每个增强图像包括：

由一个或多个计算设备获得虚拟对象的三维模型；

由一个或多个计算设备获得包括描绘场景的一个或多个图像帧的数据；

由一个或多个计算设备确定虚拟对象在场景内的位置和方位；

由一个或多个计算设备使用增强现实渲染引擎生成增强图像，增强图像描绘虚拟对象在所述位置和所述方位处在所述场景内；

由一个或多个计算设备将标签与增强图像相关联，其中标签用于以下中的至少一个：标识虚拟对象、指示虚拟对象在场景内的位置、指示虚拟对象在场景内的方位、指示分割标签。