[发明专利]在导航网络中使用自主车辆的强化学习的导航轨迹

权利要求书

1.一种自主车辆，包括：

多个决策器模块，其耦合到解析器模块，并且被配置为：

在当前时间生成多个轨迹决策，

生成所述自主车辆周围的平坦空间的当前二维切片，

通过在时间上向前投影所述平坦空间的当前二维切片，生成所述自主车辆周围的所述平坦空间的多个未来二维切片，以及

通过堆叠所述当前二维切片和所述多个未来二维切片生成三维状态空间；以及

分级器模块，其耦合到所述解析器模块，并且被配置成基于所述自主车辆的最近行为来生成针对所述多个轨迹决策的多个奖励，其中，

所述解析器模块被配置成基于所述三维状态空间和所述多个奖励从所述多个轨迹决策中选择所述自主车辆的最终轨迹决策，

所述当前二维切片包括在所述当前时间所述自主车辆的当前自我位置以及多个相邻车辆的多个当前相邻位置，以及

所述多个未来二维切片包括在多个未来时间点所述自主车辆的多个未来自我位置以及所述多个相邻车辆的多个未来相邻位置。

2.根据权利要求1所述的自主车辆，其中，所述解析器模块使用强化学习来选择所述最终轨迹决策。

3.根据权利要求1所述的自主车辆，还包括控制模块，所述控制模块耦合至所述解析器模块，并且被配置为响应于所述最终轨迹决策来导航所述自主车辆。

4.根据权利要求1所述的自主车辆，其中，所述解析器模块是所述自主车辆外部的服务器计算机的一部分。

5.根据权利要求4所述的自主车辆，还包括发射器，所述发射器被配置为将所述多个轨迹决策传送至所述服务器计算机。

6.根据权利要求4所述的自主车辆，还包括接收器，所述接收器被配置为从所述服务器计算机接收所述最终轨迹决策。

7.根据权利要求1所述的自主车辆，其中，所述多个未来时间点表示所述三维状态空间中的多个状态，其概括所述自主车辆和所述多个相邻车辆的多个移动。

8.根据权利要求1所述的自主车辆，还包括存储器装置，所述存储器装置被配置为存储车道信息，其中，所述多个决策器模块还被配置为响应于所述车道信息而生成所述多个轨迹决策。

9.根据权利要求1所述的自主车辆，还包括存储器装置，所述存储器装置被配置为存储交通灯信息，其中，所述多个决策器模块还被配置为响应于所述交通灯信息来生成所述多个轨迹决策。

10.一种用于使用强化学习进行导航轨迹识别的方法，包括：

使用电路生成在当前时间自主车辆的多个轨迹决策；

生成所述自主车辆周围的平坦空间的当前二维切片；

通过在时间上向前投影所述平坦空间的当前二维切片，生成所述自主车辆周围的所述平坦空间的多个未来二维切片；

通过堆叠所述当前二维切片和所述多个未来二维切片生成三维状态空间；

基于自主车辆的最近行为生成用于所述多个轨迹决策的多个奖励；以及

基于所述三维状态空间和所述多个奖励从所述多个轨迹决策中选择所述自主车辆的最终轨迹决策，其中

所述当前二维切片包括在所述当前时间所述自主车辆的当前自我位置以及多个相邻车辆的多个当前相邻位置，以及

所述多个未来二维切片包括在多个未来时间点所述自主车辆的多个未来自我位置以及多个相邻车辆的多个未来相邻位置。