[发明专利]一种基于学习采样式的汽车自动驾驶运动规划方法及系统

权利要求书

1.一种基于学习采样式的汽车自动驾驶运动规划方法，其特征在于包括以下步骤：

S1：根据车辆参数建立车辆运动学模型；

S2：初始化启发式运动规划方法的存储表格：Open表和Closed表；

S3：基于学习采样式方法，从起点生成一系列前向仿真轨迹，并通过启发式函数，计算每条前向仿真轨迹的评价值，选取评价值最高的轨迹作为规则最优轨迹；利用强化学习方法对前向仿真轨迹进行Q值函数估计，选择Q值最大的轨迹作为强化学习轨迹；从规则最优轨迹和强化学习轨迹中选取初段最优轨迹，将初段最优轨迹存入Closed表中，并由初段最优轨迹终点作为随后规划的起点；

S4：基于启发式规划方法，从规划起点开始，生成一系列前向仿真轨迹；利用碰撞检测方法筛选不碰撞前向仿真轨迹，并将这些不碰撞的前向仿真轨迹存入Open表中；通过启发式函数，计算每条前向仿真轨迹的评价值，选取评价值最高的前向仿真轨迹作为候选最优轨迹，并将候选最优轨迹及其评价值存入Closed表中，并由候选最优轨迹终点作为随后规划起点；

S5：重复步骤S4，直至步骤S4中的候选最优轨迹终点在运动规划所需求的终点范围内时，结束运动规划过程；

S6：将Closed表格中的初段最优轨迹和候选最优轨迹连接，形成最终规划轨迹；

所述步骤S3中，基于强化学习方法选取强化学习轨迹，强化学习方法具体为基于Q学习算法的强化学习；

所述基于强化学习方法的强化学习轨迹选取方法包括以下步骤：

S31、初始化强化学习算法：确定状态空间、动作空间和奖励函数R；

S32、建立Q网络，Q网络中存储了不同状态下，采取不同动作所获得的期望奖励，该奖励称作Q值，在离线训练开始前随机初始化Q网络中的Q值参数：Q(s_t,a_t)，其中，s_t为t时刻状态，a_t为t时刻的动作；

S33、从当前t时刻状态s_t开始，利用不同的动作a_t生成轨迹，该动作包括下一时刻车辆的方向盘转加速度γ和纵向加速度a；通过当前时刻t方向盘转角和θ_t，计算下一时刻t+Δt期望的方向盘转角和θ_t+Δt＝θ_t+γ×Δt，将期望的方向盘转角和纵向加速度输入车辆模型中，生成轨迹，将此时的Q值：Q(s_t,a_t)作为所生成轨迹的Q值，将当前状态下，Q值最大的动作所生成的轨迹作为强化学习轨迹；其中Δt为仿真步长。

2.如权利要求1所述汽车自动驾驶运动规划方法，其特征在于：所述步骤S3中，前向仿真轨迹是利用车辆方向盘转角加速度、油门/刹车输入生成。

3.如权利要求2所述汽车自动驾驶运动规划方法，其特征在于：所述前向仿真轨迹生成方法为：根据使用场景确定仿真步长Δt，通过车辆运动学模型求解得到实现车辆位置x、y和车辆方向θ的更新，不断迭代，实现车辆轨迹的更新，最终得到前向仿真轨迹。

4.如权利要求1所述汽车自动驾驶运动规划方法，其特征在于：所述步骤S3中，在将前向仿真轨迹存入Open表格之前，首先对前向仿真轨迹进行碰撞检测，检测生成的前向仿真轨迹与感知结果中障碍物的边界是否产生碰撞，如果轨迹发生碰撞，则直接删除，不碰撞的轨迹存入Open表中。

5.如权利要求1所述汽车自动驾驶运动规划方法，其特征在于：所述初段最优轨迹的选取方法为：

通过向车辆动力学模型输入不同的方向盘转角和油门\刹车开度，生成一系列前向仿真轨迹，这些前向仿真轨迹的评价值F为：

F＝g+h

其中，g为候选轨迹终点到起点的距离，h为候选轨迹终点到最终轨迹终点的距离；

在一系列前向仿真轨迹中选取评价值F最小的轨迹作为规则最优轨迹，利用强化学习Q网络估计该规则最优轨迹的Q值；比较规则最优轨迹和强化学习轨迹的Q值，选择Q值较大的轨迹作为初段最优轨迹。