[发明专利]图像标注

说明书

一种标注道路图像的方法，所述方法包括在图像处理系统处实施以下步骤：接收由行驶车辆的图像捕获装置所捕获的二维图像的时间序列；处理该图像以在三维空间中重建车辆所行驶的路径；使用重建后的车辆路径来确定沿着重建后的车辆路径延伸的预期道路结构；以及通过执行三维空间中的预期道路结构到该图像的二维平面上的几何投影，来生成道路标注数据，以用于采用预期道路结构位置标记该图像中的至少一个。

技术领域

本公开涉及图像标注，诸如带标注的街道道路图像的创建，该街道道路图像可以(尤其)用于训练机器学习道路检测部件。本公开还涉及可以在这个背景下使用的相关系统和方法，但是该相关系统和方法也具有在其他背景下的应用。

背景技术

快速新兴的技术是自主车辆(AV)，自主车辆可以在城市道路和其他道路上自行导航。这种车辆不仅必须在人和其它车辆之间执行复杂的操控，而且它们必须经常这么做直到确保对不利事件发生的概率的严格约束，不利事件例如为与环境中的这些其它智能体的碰撞。为了使AV安全地计划，能够准确且可靠地观察其环境是至关重要的。这包括对车辆附近的道路结构的准确的和可靠的检测的需要。

因此，在自主驾驶的领域中，常见的要求是具有结构检测部件(也称为机器视觉部件)，其在被给予视觉输入时能够确定诸如道路或车道结构的真实世界结构，例如，图像的哪个部分是路面，图像的哪个部分构成道路上的车道等。

这经常通过使用卷积神经网络的机器学习来实现。这样的网络需要大量的训练图像。这些训练图像类似于将从自主车辆中的相机看到的图像，但是它们已经被标注有神经网络需要学习的信息。例如，它们将具有标记图像上的哪些像素是路面和/或图像的哪些像素属于车道的标注。在训练时，给网络提供数千或优选地数十万的这种带标注的图像，并且网络自行学习图像的什么特征指示像素是车道的一部分或路面。运行时，网络然后可以利用它之前从未见过的图像，即它在训练期间没有遇到过的图像，自己做出这个决定。

用于创建带标注的训练图像的常规技术是让人类手动标注图像。每幅图像可能花费数十分钟(并且因此招致非常显著的时间、显著的成本以获得所需的大量图像)。使用这种手动过程创建数十万训练图像需要大量的人力，这又使得手动过程成为昂贵的练习。实际上，手动过程对可以实际提供的训练图像的数量施加了限制，这进而可能对训练后的结构检测部件的性能不利。

自主车辆，也称为自动驾驶车辆，是指具有用于监测其外部环境的传感器系统和能够使用那些传感器自动地做出和实现驾驶决策的控制系统的车辆。这特别包括基于来自传感器系统的输入来自动地适配车辆的速度和行驶方向的能力。完全自主或“无人驾驶”的车辆具有足够的决策能力以在没有来自人类驾驶员的任何输入的情况下操作。然而，如本文所使用的术语自主车辆还适用于半自主车辆，半自主车辆具有更有限的自主决策能力，并且因此仍然需要来自人类驾驶员的一定程度的监督。

发明内容

本文解决的核心问题是快速且高效地但是仍然准确地对道路图像进行标注，其中标注指示了视觉道路结构。这样的图像例如可以用于准备非常大的带标注的道路图像的训练集，该训练集适于训练卷积神经网络(CNN)或其他现有技术的机器学习(ML)结构检测部件。

通过使用新颖的自动或半自动图像标注技术来解决该问题，下面阐述该技术的各方面和实施例。该技术通过去除或至少显著地减少对人力的需要，允许比这样的手动标注更高效和更快速地生成大量训练图像。

这种训练后的结构检测部件的性能对训练集的质量和大小都有很强的依赖性。生成准确地带标注的道路图像的大训练集的能力(该大训练集的大小简直可能是使用常规标注不实际的)进而意味着有可能当(在运行时)应用于其在训练中未遇到过的图像时增加训练后的结构检测部件的准确性。