[发明专利]用于操作自主车辆的系统和自主车辆

权利要求书

1.一种用于操作自主车辆的系统，包括：

环境传感器，被配置为获得所述车辆的外部实体的一个或多个参数；

原始子策略的数据库；以及

处理器，被配置为：

在所述自主车辆处获得具有目的地的路线；

构建马尔可夫状态模型，马尔可夫状态模型表示用于所述自主车辆的多个状态以及所述外部实体的所述一个或多个参数；

从马尔可夫状态模型产生用于导航所述路线的多个驾驶策略，其中，每个驾驶策略包括通过所述多个状态的进展，其中，产生驾驶策略包括以有序进展组合来自数据库的多个子策略；

使用马尔可夫决策过程从所述多个驾驶策略中选择用于导航所述路线的策略；以及

在所述自主车辆处执行所选定策略以将所述车辆沿着所述路线朝向所述目的地导航。

2.根据权利要求1所述的系统，其中，所述处理器进一步被配置为在所述车辆导航所述路线时更新所述车辆的状态，并且基于所述更新的车辆状态来确定更新的策略。

3.根据权利要求1所述的系统，其中，所述处理器进一步被配置为：

确定所述多个驾驶策略中的每一个的预期奖励值，其中，驾驶策略的所述奖励值指示所述驾驶策略在推进所述自主车辆朝向所述目的地中的有效性；并且

选择具有选定奖励值的所述策略。

4.根据权利要求3所述的系统，其中，所述选定策略进一步包括具有最大预期奖励值但没有惩罚的策略。

5.根据权利要求1所述的系统，其中，所述处理器进一步被配置为通过在所述车辆处执行动作以推进所述自主车辆朝向所述目的地来在所述自主车辆处执行所述选定策略。

6.一种自主车辆，包括：

环境传感器，被配置为获得所述车辆的外部实体的一个或多个参数；

原始子策略的数据库；以及

处理器，被配置为：

在所述自主车辆处获得具有目的地的路线；

构建马尔可夫状态模型，马尔可夫状态模型表示用于所述自主车辆的多个状态以及所述外部实体的所述一个或多个参数；

从马尔可夫状态模型产生用于导航所述路线的多个驾驶策略，其中，每个驾驶策略包括通过所述多个状态的进展，其中，产生驾驶策略包括以有序进展组合来自数据库的多个子策略；

使用马尔可夫决策过程从所述多个驾驶策略中选择用于导航所述路线的策略；以及

在所述自主车辆处执行所选定策略以将所述车辆沿着所述路线朝向所述目的地导航。

7.根据权利要求6所述的自主车辆，其中，所述处理器进一步被配置为在所述车辆导航所述路线时更新所述车辆的状态，并且基于所述更新的车辆状态来确定更新的策略。

8.根据权利要求6所述的自主车辆，其中，所述处理器进一步被配置为：

确定所述多个驾驶策略中的每一个的预期奖励值，其中，驾驶策略的所述奖励值指示所述驾驶策略在推进所述自主车辆朝向所述目的地中的有效性；以及

选择具有选定奖励值的所述策略。

9.根据权利要求8所述的自主车辆，其中，所述选定策略进一步包括具有最大预期奖励值但没有惩罚的策略。

10.根据权利要求6所述的自主车辆，其中，所述处理器进一步被配置为通过在所述车辆处执行动作以推进所述自主车辆朝向所述目的地来在所述自主车辆处执行所述选定策略。