[发明专利]自主机器应用中的行为引导路径规划

说明书

在各种示例中，可以训练机器学习模型(诸如深度神经网络(DNN))以使用图像数据和/或其他传感器数据作为输入以在世界空间中生成二维或三维轨迹点，车辆方位和/或车辆状态。例如，可以收集表示车辆的方位，转向信息和/或速度的传感器数据并用于自动生成轨迹以用作训练DNN的地面实况数据。一旦部署，轨迹点，车辆方位和/或车辆状态可以由控制组件(例如，车辆控制器)用于通过物理环境控制车辆。例如，控制组件可以使用DNN的这些输出来确定车辆特定的控制简档(例如，转向，减速和/或加速)，以控制车辆通过物理环境。

相关申请的交叉引用

本申请要求2018年6月19日提交、申请号为62687200的美国临时申请的权益，该临时申请通过引用整体并入本文。

本申请涉及2019年1月7日提交、申请号为16241005的美国非临时申请，并且其全部内容通过引用并入本文。

背景技术

设计一种在没有实际接受所需的安全水平的监督的情况下自主驾驶车辆的系统是非常困难的。自主车辆至少应该能够作为一个细心驾驶员的功能等同物，他们利用一种感知和动作系统，该系统具有难以置信的能力，其能够在复杂环境中识别和应对移动和静止的障碍物，以避免与其路径上的其他对象或结构发生碰撞。

自主系统的一个任务可以是确定自主车辆遵循车辆可能遇到的复杂环境的推荐路径。对于路径规划或控制，一些传统系统使用端到端训练的深度神经网络(DNN)，其输出可由自动驾驶汽车的一个或更多个组件使用的依赖于对象的命令，例如转向角，加速度，减速度等。例如，DNN可以使用图像数据来计算表示特定车辆的转向角，加速度和/或减速度的输出。然而，因为每个车辆年份，品牌和/或模型可具有其自己的转向简档，加速度简档和/或减速简档，所以这些端到端训练的DNN的可扩展性和功效显着降低。例如，第一品牌和型号的每个车辆可以共享相同的转向角，其允许该车辆安全地执行并且平稳地操作，而不同品牌和型号的每个车辆可以共享特定于该品牌和型号的转向角。因此，第一品牌和型号的转向角输出可能无法有效地传递到第二品牌和型号(例如，可能导致不稳定或不安全的车辆控制)。结果，可能需要每年对车辆的品牌和/或模型进行单独训练的DNN，和/或可能需要重要的后处理来转换或校准来自DNN的输出以供不同的车辆品牌和型号适用。然而，通过每年针对品牌和/或模型训练新DNN，和/或通过执行广泛的后处理，在DNN的训练以及它们的部署中都需要大量的计算资源。

此外，在一些传统系统中，可能需要手动标记或注释来有效地训练DNN。但是，手动标记或注释可能需要大量时间和精力-尤其是在系统扩展时。例如，当训练DNN用于不同环境(例如，新地形，新地理位置，新场景等)和/或具有不同车辆年份，品牌和/或型号时，可能需要创建新的地面实况数据-需要额外的手动标签-以便训练DNN在不同环境和/或不同车辆中运行。此外，因为注释或标签可以在图像空间中进行(例如，对应于二维(2D)像素坐标)，所以DNN的输出可能需要从图像空间到世界空间例如，三维(3D)世界坐标)的转换(-从而增加计算成本和处理时间。相对于图像空间手动生成的标记或注释的另一结果是使用这些标记或注释训练的DNN不太可能生成表示通过环境的期望或预期路径的输出。例如，通过图像空间的路径(例如，通过图像的2D像素位置的路径)可能不对应于通过3D世界空间的期望或预期路径(例如，由于难以预测曲线，丘陵，高度变化和/或在图像空间中的类似物)，这可能导致DNN产生噪声输出，这可能导致对车辆的控制更不稳定，更不平稳。

概要

本公开的实施例涉及自主机器应用中的行为引导路径规划。公开了系统和方法，其使用观察到的行为(例如驾驶通过物理环境)来训练一个或更多个机器学习模型以预测通过环境的路径。