[发明专利]用于生成自动驾驶车辆交叉路口导航指令的系统和方法

权利要求书

1.一种用于为车辆生成导航指令以通过无信号交叉路口的系统，所述系统包括：

存储器，其存储用于执行生成所述无信号交叉路口的导航指令的过程的指令；以及

处理器，其被配置成能够执行所述指令，其中，所述过程包括：

生成所述车辆的序列动作的预期返回；

通过选择对于所述车辆具有最大值的动作来确定最优策略；

执行动态跳帧以加速学习所述车辆的重复动作；

通过利用经验回放缓冲器对经验回放进行优先处理来打破所述车辆的序列步之间的关联；

基于所述预期返回、所述最优策略、所述动态跳帧或优先处理的所述经验回放中的至少一个生成多个状态-动作表达；

基于所述多个状态-动作表达生成用于无信号交叉路口的导航指令；以及

将用于无信号交叉路口的所述导航指令发送给所述车辆，从而使所述车辆执行所述指令以导航通过所述无信号交叉路口。

2.根据权利要求1所述的系统，其中，所述多个状态-动作表达包括一个或多个深度Q网络(DQN)。

3.根据权利要求2所述的系统，其中，所述处理器被进一步配置成能够将所述车辆周围的空间离散化在相对于所述车辆的参考系的网格中，其中，所述车辆周围的所述空间基于从所述车辆检索的扫描构建。

4.根据权利要求3所述的系统，其中：

对于所述一个或多个DQN中的第一DQN，所述空间中所述车辆周围的一个或多个次要车辆用相应航向角、速度或计算碰撞时间中的至少一个表示；并且

对于所述一个或多个DQN中的第二DQN，所述空间中所述车辆周围的一个或多个次要车辆用相应航向角、速度和偏置项中的至少一个表示。

5.根据权利要求3所述的系统，其中，所述一个或多个DQN中的第一DQN包括具有带泄露线性整流函数(ReLU)激活功能的完全连接网络，并且其中，所述完全连接网络包括：

三个隐藏层，每个所述隐藏层包括多个节点，以及

线性层，所述线性层具有对应于所述车辆在多个时间刻度的多个动作的多个输出。

6.根据权利要求3所述的系统，其中，所述一个或多个DQN中的第一DQN包括卷积神经网络，所述卷积神经网络包括完全连接层、线性输出层和多个卷积层，并且其中，所述多个卷积层中的每个卷积层和所述完全连接层利用带泄露线性整流函数(ReLU)激活功能，并且其中，所述线性输出层包括多个输出。

7.根据权利要求2所述的系统，其中，所述处理器被进一步配置成能够基于模拟交通训练所述一个或多个DQN。

8.一种用于为车辆生成导航指令以通过无信号交叉路口的方法，所述方法包括：

生成所述车辆的序列动作的预期返回；

通过选择对于所述车辆具有最大值的动作来确定最优策略；

执行动态跳帧以加速学习所述车辆的重复动作；

通过利用经验回放缓冲器对经验回放进行优先处理，以打破所述车辆的序列步之间的关联；

基于所述预期返回、所述最优策略、所述动态跳帧或优先处理的所述经验回放中的至少一个生成多个状态-动作表达；

基于所述多个状态-动作表达生成用于无信号交叉路口的所述导航指令；以及

将所述导航指令发送给所述车辆，从而使所述车辆执行所述导航指令以导航通过所述无信号交叉路口。

9.根据权利要求8所述的方法，其中，所述多个状态-动作表达包括一个或多个深度Q网络(DQN)。

10.根据权利要求9所述的方法，其中，所述方法进一步包括将所述车辆周围的空间离散化在相对于所述车辆的参考系的网格中，其中，所述车辆周围的所述空间基于从所述车辆检索的扫描构建。