[发明专利]用于自主机器应用的未来对象轨迹预测

说明书

在各种示例中，环境中的对象的历史轨迹信息可以由自我车辆追踪并且被编码为状态特征。可以通过使用由自我车辆观察到的每个对象的编码状态特征(例如通过双向长短期记忆(LSTM)网络)来对空间特征进行编码。对象的编码空间特征和编码状态特征可以用于预测对象的横向和/或纵向机动，并且该信息的组合可以用于确定对象的未来位置。未来位置可以由自我车辆用来确定通过环境的路径，或者可以由模拟系统使用以(根据从未来位置确定的轨迹)通过模拟环境来控制虚拟对象。

背景技术

自主车辆要想有效地导航，就需要对周围环境生成了解，例如，识别附近汽车、行人、交通标志和信号的位置以及道路配置是自主车辆进行安全控制的关键方面。除了环境中对象的当前位置和配置之外，(通过自主车辆的观察)确定随时间推移这些对象可能的未来轨迹可证明有效地充分理解和解释预测的环境中的变化。

常规系统使用卷积社交池化来利用过去的对象轨迹信息。例如，可以使用长短期记忆(LSTM)网络对环境中的对象运动进行编码，并且可以将每个对象填充在空间网格内。然后可以将空间网格应用于卷积和池化层，以进行社交上下文编码。然后可以使用针对单个对象的社交上下文编码和运动编码来预测单个对象的未来运动。但是，这些常规方法仅限于一次预测单个对象的未来位置——从而限制了信息在自动驾驶应用中的有效性。在为每个对象重复这些常规过程的情况下，由于系统的处理负担，系统的运行时间对于实时部署变得无效。此外，通过使用卷积和池化层进行社交上下文编码，这些常规系统的结果通常会导致对训练数据的过度拟合。

发明内容

本公开的实施例涉及用于自主机器应用的未来对象轨迹预测。公开了关于利用机器学习模型(例如长短期记忆(LSTM)网络)来基于对对象的过去轨迹以及对象之间的空间关系的理解来预测环境中对象的未来轨迹的系统和方法。

与诸如上述的常规系统相反，本公开的系统利用自我车辆随着时间跟踪环境中的对象。例如，本系统可以预测环境中每个对象的未来轨迹，而仅需要跟踪每个对象轨迹一次。此外，可以并行计算多个对象的轨迹，从而减少了运行时间，并使系统能够针对自主车辆应用准确实时地执行。而且，在一些实施例中，双向LSTM可以用于生成表示环境中的每个对象及其相对于彼此的位置的空间编码。与常规系统相比，使用双向LSTM，通过空间编码可捕获更多上下文，因为对象之间的空间关系是从不同角度进行编码的。另外，由系统预测的对象的未来位置可以用作预测后续未来位置的输入——从而提高了系统尤其是对于未来的预测的准确性。

附图说明

下面参照附图详细描述用于自主机器应用的未来对象轨迹预测的本系统和方法，其中：

图1包括根据本公开的一些实施例的用于预测环境中一个或更多个对象的轨迹的过程的示例数据流程图；

图2A包括根据本公开的一些实施例的轨迹预测模型；

图2B包括根据本公开的一些实施例的用于生成编码状态特征的示例图示；

图2C包括根据本公开的一些实施例的用于填充空间布置的示例图示；

图2D包括根据本公开的一些实施例的用于生成编码空间特征的示例图示；

图2E包括根据本公开的一些实施例的用于生成编码空间特征的另一示例图示；

图2F包括根据本公开的一些实施例的用于预测对象的横向机动的示例图示；

图2G包括根据本公开的一些实施例的用于预测对象的纵向机动的示例图示；

图2H包括根据本公开的一些实施例的用于预测对象的未来位置的示例图示；

图2I包括根据本公开的一些实施例的用于使用预测的未来位置来为对象的未来轨迹建模的示例图示；

图3是示出了根据本公开的一些实施例的用于计算对象机动的方法的流程图；