[发明专利]使用用于机器学习模型的地面实况数据的自动标注

说明书

本公开提供“使用用于机器学习模型的地面实况数据的自动标注”。本公开描述了与自动标注相关的系统、方法和装置。一种装置可捕获与包括对象的图像相关联的数据。装置可以获取与对象相关联的输入数据。装置可以估计所述图像的帧内的多个点，其中所述多个点构成用于围绕所述对象的3D边界。装置可以将所述多个点变换为两个或更多个2D点。装置可以使用所述两个或更多个2D点来构造包封所述对象的边界框。装置可以使用形态学技术来创建所述对象的分割掩模。装置可以基于所述分割掩模来执行标注。

技术领域

本公开涉及与自动标注相关的系统、方法和装置。

背景技术

机器学习越来越多地用于解决例如在机器人学或其他领域中的复杂问题，包括图像帧内的机器人识别和分类问题。当前的机器学习分类训练需要大量带标注的输入样本数据来训练和验证机器学习模型。这些输入样本数据需要被标记或标注，特别是用图像。

发明内容

从历史上看，每个带标注的样本都需要用户在要训练的对象(例如，机器人或其他对象)周围手动绘制边界框并对其进行相应地分类。例如，人在图片中围绕苹果绘制轮廓，并将其分类为“苹果”，以便机器学习模型能够在稍后的时间识别图片中的苹果。换句话说，尽管由相机捕获图像，但是这些图像不会被自动标注以便确定什么对象在这些图像中。例如，如果相机捕获机器人的图像，则用户知道它是机器人，但是相机或系统在没有某种形式的标注的情况下不会知道。该手动标注过程以员工时间的形式或利用提供标注的服务占用大量资源(时间和金钱)。

需要实现对与图像相关联的大型数据集的更快且更有效的标注。例如，如果相机捕获10,000个图像帧，并且对象(例如，机器人)以不同位置、取向和尺度在这些帧中的5,000个帧中被发现，则为了训练神经网络，需要针对每个图像知道所述机器人是否在所述图像中。此外，可能需要在图像中以图像坐标的形式知道对象的轮廓。

本公开的示例性实施例涉及用于利用供在定制的机器学习模型中使用的同步的地面实况数据的自动标注过程的系统、方法和装置。

在一个或多个实施例中，自动标注系统可以促进使用同步的地面实况数据来快速且有效地识别和转换对象(例如，机器人、苹果、雕像或任何其他对象)的位置。具体地，在数据集图像的收集期间通过传感器定位获得的数据的使用以及使该数据收集同步是本公开中描述的过程的重要方面。然后，使用此同步数据来创建机器学习模型的输入所涉及的过程对于这种数据收集方法来说是独特的。

输入数据可以是对象的时间同步姿态，然而，重要的是要注意输入数据如何产生。输入数据可以与预建地图和正态分布变换(NDT)匹配相关联以定位对象。也可以使用其他方法来定位对象。总的来说，整个过程包含新颖的想法，因为以该特定顺序并使用所描述的决策标准完成的所描述的步骤实现了当前不存在的自动标注过程。例如，对象(例如，机器人、苹果、雕像或任何其他对象)的尺寸可以是已知的，这允许在该对象周围的世界坐标系中创建3D边界立方体。自动标注空间中的现有解决方案似乎是基于文本的标注，这是与所捕获图像中的对象的标注所需的用例和过程不同的用例和过程。类似地，关于生成训练集的图像相关解决方案也依赖于实现生成式对抗网络或众包标注并使用地面实况进行验证，而不是如本公开中所述直接从数据集创建标注。

在一个或多个实施例中，一旦确定了3D边界立方体，自动标注系统就可以促进将3D边界立方体投影到2D图像平面中。该投影是通过使用将3D边界立方体中的多个点(例如，8个点)下采样为2D图像平面中的更少数量的点(例如，4个点)来实现的。通过选择将导致将对象(例如，机器人)包含在图像帧内的特定点来执行该下采样。然后可以将该过程应用于大量图像。

在一个或多个实施例中，自动标注系统具有许多优点，诸如节省资源和时间。例如，如果数据集包括10,000个图像并且如果一个人手动标注每个图像需要30秒，则这相当于大约83.3小时或超过两周的工作。替代地，如果标注过程以每个标注约1美元的成本进行外包，则将花费10,000美元。此处概述的过程可以在几分钟内完成，并且包括可忽略的成本。