[发明专利]用于包括姿态和大小估计的对象检测的系统和方法

说明书

本公开涉及用于从2D图像执行3D中的对象检测和姿态估计的系统和方法。对象检测可以由被配置为确定各种对象属性的机器学习模型来执行。根据本公开的实施方式可以使用这些属性来估计对象姿态和大小。

技术领域

本公开大体上涉及计算机视觉。更具体地，本公开涉及能够提供用于以三维(3D)执行对象检测和姿态估计的更有效的模型的计算机实现的系统和方法。

背景技术

3D中的对象检测和姿态估计具有跨越计算机视觉、增强现实(AR)、自主驾驶和机器人技术的许多应用。当输入仅是单个图像并且不存在对象的先验知识时，问题仍然是极具挑战性的。设备内置应用向问题添加了复杂性，诸如模型应该以有限的大小实时运行的预期。另外，与相机高度固定并且存在强视觉深度提示的自动驾驶汽车不同，用于诸如智能电话的移动设备的典型设备内置模型必须学习旋转以及深度。

发明内容

本公开涉及用于从2D图像执行3D中的对象检测和姿态估计的系统和方法。对象检测可以由被配置为确定各种对象属性的机器学习模型来执行。根据本公开的实施方式可以使用这些属性来估计对象姿态和大小。

本公开的一个示例方面包括用于使用机器学习对象检测模型来确定边界框顶点的坐标的方法。

本公开的另一示例方面包括用于使用合成数据训练机器学习对象检测模型的方法。可以使用增强现实引擎、使用放置在场景中的各种对象的虚拟模型来生成合成数据。

本公开的另一示例方面包括具有多头架构的机器学习模型。

本公开的其他方面涉及实现本文公开的技术或可以通过本公开的实践导出的各种系统、装置、非暂时性计算机可读介质、用户界面和电子设备。

参考以下描述和所附权利要求，将更好地理解本公开的各种实施例的这些和其他特征、方面和优点。并入本说明书中并构成本说明书的一部分的附图示出了本公开的示例实施例，并且与说明书一起用于解释相关原理。

附图说明

在参考附图的说明书中阐述了针对本领域普通技术人员的实施例的详细讨论，其中：

图1A示出根据本公开的示例实施方式的包括一个或多个机器学习模型的示例计算系统。

图1B示出根据本公开的示例实施方式的包括一个或多个机器学习模型的示例计算设备。

图1C图示根据本公开的示例实施方式的包括一个或多个机器学习模型的另一示例计算设备。

图2A示出根据本公开的示例实施方式的显示编码器-解码器网络以生成输出(或多个)的示例模型架构。

图2B示出根据本公开的示例实施方式的另一示例模型架构。

图3A和3B示出从根据本公开的示例实施方式导出的示例输出。这些图包括描绘围绕各种对象的3D边界框的多个图像。在图3A中，在中间图像行的右上角显示附加的模型输出。附加模型输出示出分割掩码。

图4说明描绘根据本发明的实例实施方案的用于执行对象检测的实例方法的流程图。

在多个附图中重复的附图标记旨在标识各种实施方式中的相同特征。

具体实施方式

概述