[发明专利]用于生成自动驾驶车辆交叉路口导航指令的系统和方法

说明书

提供了用于为车辆生成指令以导航通过无信号交叉路口的系统和方法。该方法可以包括：生成车辆序列动作的预期返回；通过选择对于车辆具有最大值的动作来确定最优策略；执行动态跳帧以加速学习车辆的重复动作；通过利用经验回放缓冲器对经验回放进行优先处理，以打破车辆的序列步之间的关联；基于预期返回、最优策略、动态跳帧或所述优先处理的经验回放中的至少一个生成多个状态‑动作表达；基于所述多个状态‑动作表达生成用于无信号交叉路口导航的指令；以及将用于无信号交叉路口导航的指令发送给车辆，从而使车辆执行指令以导航通过无信号交叉路口。

技术领域

本发明的主题涉及用于车辆自动驾驶的方法和系统。

背景技术

为了成功地通过无信号交叉路口，驾驶员必须了解车辆动力学、解读其他驾驶员的意图，并且可预测地做出行为以便其他驾驶员能够适当地响应。然而，在自动驾驶车辆中学习这种行为需要优化多个冲突的目标，包括安全性、效率和交通影响最小化。即使是对于人类驾驶员来说，在安全性、效率和交通影响最小化之间取得平衡也是一项挑战。因此，自动驾驶车辆最具挑战性的问题之一就是应对城市环境中的无信号交叉路口。挑战主要来自不可预测的自动驾驶系统行为。虽然基于规则的交叉路口处理方法提供了可靠且易于理解的解决方案，但这些方法可能导致次优的行为和任务绩效。

之前的基于规则的策略包括协作式和启发式方法。协作式方法要求车辆到车辆的通信，因此无法扩展到一般的交叉路口处理。启发式方法是基于碰撞时间(TTC)的基于规则的方法。虽然TTC有许多好处，但也有其局限性。例如，TTC模型假定速度恒定，忽略了有关驾驶员意图的几乎所有信息。此外，人类驾驶员经常不可预测的行为可能使基于规则的算法的使用复杂化。因此，在许多情况下，使用TTC 的自动驾驶系统可能过于谨慎，从而可能产生不必要的延迟。

其它基于机器学习的方法已经用于交叉路口处理，如模仿学习、在线规划和离线学习。虽然这些方法中的每一个可能都具有优点，但也具有缺点。例如，在模仿学习中，策略是学习人类驾驶员。然而，如果自动驾驶系统发现自己处于不属于训练数据的状态，例如先前未学习的状态，则该策略无法提供解决方案。在线规划器通过模拟当前时间步的未来状态来计算要采取的最佳动作。虽然已经表明基于部分可观测蒙特卡洛计划(POMCP)的在线规划器可以处理交叉路口，但这些规划器依赖于存在准确的生成模型。离线学习方法通常通过在后端使用马尔可夫决策过程(MDP)解决交叉路口问题。离线学习可能涉及以采集数据来训练系统，这使得系统能够以大量数据训练，并且经常使得系统在运行时速度很快。然而，一个示例性缺点在于，所得到的系统随后被“固定”并且可能无法适应新情况。

发明内容

提供本发明内容以通过简化形式介绍一系列构思，这些构思在下文的具体实施方式中进一步描述。本发明内容并非旨在识别所要求保护的主题的关键特征，也非旨在用于辅助确定所要求保护的主题的范围。

在一些方面，本发明结合了深度学习技术以提高学习速度并改善性能。例如，在一些方面，本发明使用强化学习技术使车辆在序列动作上的预期返回最大化，并使用Q学习技术以优化预期返回。在其它方面，本发明使用动态跳帧加速学习重复动作，并且利用优先处理的回放以确保同时学习正面和负面情况。此外，在各个方面，本发明利用经验回放学习所施加的离策略(off-policy)性质来计算和训练完整的n步返回，从而减少了深度Q网络(DQN)的学习时间。本发明的无信号交叉路口导航技术还提供优于现有技术的改进性能，如通过模拟交通场景的结果比较所示。

附图说明

在权利要求书中列出被认为是本发明的方案的特质的新颖特征。在以下描述中，类似部件在整个说明书和附图中分别用相同附图标记。附图不一定按比例绘制，并且为清楚和简洁起见，某些附图可以以放大或概略的形式示出。但是，当结合附图阅读时，通过参考以下详细描述的本发明的说明性方面，可以最好地理解本发明本身及其优选使用方式及进一步的目的和发展，在附图中：

图1示出根据本发明各方面的车辆系统的示例操作环境的示意图；