[发明专利]自动行驶设备的路口运动规划方法、装置、电子设备

权利要求书

1.一种自动行驶设备的路口运动规划方法，其特征在于，包括：

获取实时的联合状态，其中，所述联合状态数据包括：自动行驶设备的状态数据和/或所述自动行驶设备周边障碍物的状态数据；

确定所述联合状态匹配的预定义事件，其中，所述预定义事件包括：指示需要采取行动的可控事件；

响应于所述联合状态匹配的预定义事件为所述可控事件，通过所预先训练的强化学习网络对所述联合状态进行事件空间到动作空间的映射处理，得到与所述联合状态匹配的动作向量；

基于所述动作向量对所述自动行驶设备进行运动规划。

2.根据权利要求1所述的方法，其特征在于，所述通过所预先训练的强化学习网络对所述联合状态进行事件空间到动作空间的映射处理的步骤之前，还包括:

获取预定义事件的输入状态集合和输出动作集合；

构建基于事件的优化模型；其中，所述优化模型包括：状态事件映射模块和决策模块，所述状态事件映射模块用于确定所述输入状态对应的预定义事件，所述决策模块为基于马尔科夫决策过程的强化学习网络，所述马尔科夫决策过程的模型要素中:状态空间要素为所述输入状态集合；动作空间要素为自动行驶设备的动作空间；奖励为对自动行驶设备到目的地的距离、距标准轨迹的偏差、当前行驶速度、与障碍物的距离中的一项或多项状态关联数据的调整；回报为累计折扣奖励；策略为针对当前状态执行相应动作后到达新的状态；

基于所述输入状态集合和所述输出动作集合，训练强化学习网络，求解一组使得全局回报最大化的策略；其中，使得全局回报最大化的策略表征了所述可控事件对应的输入状态到输出动作的映射关系。

3.根据权利要求2所述的方法，其特征在于，所述训练所述强化学习网络的步骤，包括：

对于所述输入状态集合中的每个输入状态，通过执行所述状态事件映射模块确定所述输入状态匹配的所述预定义事件；

响应于所述联合状态匹配的预定义事件为所述可控事件，通过所述强化学习网络将所述输入状态映射为下一时刻的动作；

根据所述下一时刻的动作与所述输出动作集合中所述输入状态对应的输出动作，计算即时奖励，并以根据各所述即时奖励计算得到全局回报最大化为目标，优化所述策略。

4.根据权利要求1所述的方法，其特征在于，所述确定所述联合状态匹配的预定义事件的步骤，包括：

根据所述联合状态中自动行驶设备的位置和速度，以及障碍物的位置和速度，确定所述自动行驶设备是否到达邻近所述障碍物指定距离的区域范围；

响应于所述自动行驶设备到达邻近所述障碍物指定距离的区域范围，确定所述联合状态匹配所述可控事件。

5.根据权利要求4所述的方法，其特征在于，所述预定义事件还包括：指示需要继续观察的可观事件，所述可观事件包括边界类型的可观事件和碰撞类型的可观事件，所述根据所述联合状态中自动行驶设备的位置和速度，以及障碍物的位置和速度，确定所述自动行驶设备是否到达邻近所述障碍物指定距离的区域范围的步骤之后，还包括：

响应于所述自动行驶设备未到达邻近所述障碍物指定距离的区域范围，且所述自动行驶设备在原始策略下无法保持在道路范围内时，确定所述联合状态数据匹配边界类型的所述可观事件；

响应于所述自动行驶设备未到达邻近所述障碍物指定距离的区域范围，且所述自动行驶设备到达与障碍物潜在冲突点前的最后一个区域时，确定所述联合状态数据匹配碰撞类型的所述可观事件。

6.根据权利要求1所述的方法，其特征在于，所述预定义事件还包括：指示需要继续观察的可观事件，所述确定所述联合状态匹配的预定义事件的步骤之后，还包括：

响应于所述联合状态匹配的预定义事件为所述可观事件，按照预设策略调整所述自动行驶设备当前的动作向量。