[发明专利]用于自主驾驶机器的基于回归的线检测

说明书

在不同示例中，公开了保留来自机器学习模型的输入分辨率的丰富空间信息以在输入图像中的线上回归的系统和方法。机器学习模型可以被训练为在部署中预测输入分辨率的输入图像的每个像素到被确定为对应于输入图像中的线的线像素的距离。机器学习模型可以进一步被训练为预测线的角度和标记类。可以使用嵌入算法来训练机器学习模型以预测线像素的集群，每个线像素对应于输入图像中的相应线。在部署中，在各种自主机器应用中，机器学习模型的预测可以被用作理解周围环境(例如用于更新世界模型)的辅助。

背景技术

准确和精确地检测环境中的车道线、车道边缘、道路边界、文本、和/或其他特征的能力对于在所有自主级别的自主机器应用(例如，半自主车辆到全自主车辆)是必要的。由于道路标记质量的变化、车道和道路标记惯例的地理差异，以及由于磨损和撕裂引起的道路标记障碍、退化和/或遮挡，天气条件、照明条件、临时标记(例如，由于建造或救灾)等，在行驶期间在环境中可能遇到的车道标志的多样性非常高。

用于车道或线检测的一些常规方法已经使用深度神经网络(DNN)处理，其中，驾驶表面的高分辨率图像以及车道和线的相关注释被用于训练DNN(例如，卷积神经网络(CNN))以识别车道线。这些常规方法已经训练DNN为通过将图像的每个像素分类为或者不分类为车道线的部分来生成显示图像中的车道线的一般位置的分割掩码。然而，由于在通过卷积运算进行DNN处理期间DNN执行的增量下采样，这些常规方法在DNN的输出处遭受分辨率的损失。例如，作为下采样的结果，对应于车道线的DNN的输入分辨率的各个像素可变成DNN的输出分辨率的模糊像素斑点。这种用于推理车道线或边缘的关键空间信息的损失降低了车道或线检测的精度和准确度。

此外，使用DNN来预测车道或线类别的常规系统需要针对每个类别的单独的输出通道(例如，单独的预测)。照此，这些常规系统的DNN需要针对每个输出通道的每个像素单独处理并生成预测。使用这种方法，增加了系统的运行时间，从而使用于车道或线预测的实时部署成为需要额外的计算资源、能量和处理功率的繁重的任务。这些常规系统还采用重要的后处理步骤，所述后处理步骤需要使用由DNN输出的分割掩码(以空间信息已经损失的较低分辨率)来重构车道或线。然而，该方法不仅增加了运行时的处理时间，还导致系统对车道和线的最终预测较不准确。最终，这些常规系统的DNN的预测影响自主车辆(实时)获得对驾驶表面的准确和精确理解的能力，同时需要大量处理、能量和计算资源。

发明内容

本公开的实施例涉及用于自主驾驶机器的基于回归的线检测。公开了通过提供与输入图像的空间分辨率或维度相比大小减小的空间分辨率或维度的压缩信息，来通过深度学习模型保留丰富的空间信息的系统和方法。照此，本公开的实施例涉及用于自主驾驶机器的线检测，其包括但不限于车道线、道路边界、道路上的文本、或标志(例如，杆、街道标志等)。

与常规系统(如以上所描述的那些系统)相比，本公开的系统可以训练机器学习模型，来针对输入分辨率的输入图像的每个像素预测与被确定为与输入图像中的线(或其他标签类)相对应的线像素(或与任何其他标签类相对应的像素)的距离(一维(1D)或二维(2D))。因此，即使机器学习模型的输出分辨率可小于输入分辨率(例如，小两倍、小四倍等)，距离也可以用于保留输入分辨率的空间信息，以便精确地重新创建输入分辨率的线。照此，通过使用用于处理的较高输入分辨率生成较低输出分辨率的预测，系统的运行时间减少，而空间信息的保留维持预测的准确性。

除了线像素的位置之外，可以由机器学习模型计算在每个线像素的位置处的线的角度，以帮助系统理解线的整体几何形状——从而增加由系统使用的线重新创建的准确度。为了进一步减少用于系统的实时操作的运行时间，一个或更多个机器学习模型可以被训练为使用位编码过程来预测标签类，从而移除需要针对每个输出通道(例如，针对每个类)的每个像素进行预测的常规系统的约束。与常规系统进一步对比——并且为了减少系统的总体后处理负担——机器学习模型可以被训练成使用嵌入算法来预测线像素的集群，其中，每个集群对应于单独的线。

附图说明

下面参考附图详细描述用于自主驾驶机器的基于回归的线检测的本系统和方法，其中：