[发明专利]用于操作自主车辆的系统和自主车辆

说明书

一种车辆、系统和操作车辆的方法。在一个示例性实施例中，公开了一种用于操作自主车辆的方法。环境传感器获得车辆的外部实体的一个或多个参数。车辆的处理器在自主车辆处获得具有目的地的路线；构建路线的马尔可夫状态模型，其包括用于自主车辆的多个状态以及外部实体的一个或多个参数；产生用于导航该路线的多个驾驶策略；使用马尔可夫决策过程从多个驾驶策略中选择用于导航该路线的策略；以及在自主车辆处执行选定策略以将车辆沿着该路线朝向目的地导航。

技术领域

本公开涉及一种用于导航自主车辆的系统和方法，并且更具体地涉及一种用于控制自主车辆的行为以导航通过选定路线的决策过程。

背景技术

自主驾驶提供了在没有来自驾驶员或乘客的输入的情况下操作车辆的能力而不是提供目的地。通过意外的道路事件进行推理以便做出驾驶决策所需的处理水平超出了脚本规则和预定义知识库的能力。因此，期望提供一种展示社会可接受的驾驶行为的自主驾驶系统和方法。

发明内容

在一个示例性实施例中，公开了一种操作自主车辆的方法。该方法包括在自主车辆处获得具有目的地的路线；构建包括用于自主车辆的多个状态的路线的马尔可夫状态模型；产生用于导航该路线的多个驾驶策略，其中每个驾驶策略包括在多个状态中的进展；使用马尔可夫决策过程从多个驾驶策略中选择用于导航该路线的策略；以及在自主车辆处执行选定策略以将车辆沿着该路线朝向目的地导航。

当车辆导航该路线时更新车辆的状态，并且基于更新的车辆状态来确定更新的策略。确定多个驾驶策略中的每一个的预期奖励值，其中驾驶策略的奖励值指示驾驶策略在安全且平稳地推进自主车辆朝向目的地中的有效性，并且基于具有选定奖励值来选择策略。在一个实施例中，选定策略进一步包括具有最大预期奖励值但没有惩罚的策略。在自主车辆处执行选定策略包括在车辆处执行动作以根据该策略推进车辆朝向该路线的目的地。

车辆的状态包括自主车辆的姿态向量、运动学向量、环境信息向量以及致动器状态中的至少一个。环境信息向量包括环境中的外部实体和交通管制装置的参数。

在另一个示例性实施例中，公开了一种用于操作自主车辆的系统。该系统包括环境传感器和处理器，该环境传感器被配置为获得车辆的外部实体的一个或多个参数。该处理器被配置为在自主车辆处获得具有目的地的路线；构建路线的马尔可夫状态模型，其包括用于自主车辆的多个状态以及外部实体的一个或多个参数；产生用于导航该路线的多个驾驶策略，其中每个驾驶策略包括在多个状态中的进展；使用马尔可夫决策过程从多个驾驶策略中选择用于导航该路线的策略；以及在自主车辆处执行选定策略以将车辆沿着该路线朝向目的地导航。

处理器进一步被配置为在车辆导航该路线时更新车辆的状态，并且基于更新的车辆状态来确定更新的策略。该处理器进一步被配置为确定多个驾驶策略中的每一个的预期奖励值，其中驾驶策略的奖励值指示驾驶策略在推进自主车辆朝向目的地中的有效性；并且选择具有选定奖励值的策略。在一个实施例中，选定策略是具有最大预期奖励值但没有惩罚的策略。在一个实施例中，该处理器通过在车辆处执行动作以推进自主车辆朝向目的地来在自主车辆处执行选定策略。

车辆的状态包括自主车辆的姿态向量、运动学向量、环境信息向量以及致动器状态中的至少一个。环境信息向量包括环境中的外部实体和交通管制装置的参数。

在又一示例性实施例中，公开了一种自主车辆。该自主车辆包括环境传感器，该环境传感器被配置为获得车辆的外部实体的一个或多个参数。该处理器被配置为在自主车辆处获得具有目的地的路线；构建路线的马尔可夫状态模型，其包括用于自主车辆的多个状态以及外部实体的一个或多个参数；产生用于导航该路线的多个驾驶策略，其中每个驾驶策略包括在多个状态中的进展；使用马尔可夫决策过程从多个驾驶策略中选择用于导航该路线的策略；以及在自主车辆处执行选定策略以将车辆沿着该路线朝向目的地导航。