[发明专利]一种基于深度强化学习的越野车三维路径规划方法

权利要求书

1.一种基于深度强化学习的越野车三维路径规划方法，其特征在于，所述方法包括以下步骤：

S1、构建一个基于价值的越野车三维路径规划的深度卷积神经网络模型，以最优动作价值函数为学习目标；

S2、构建随越野车移动的动态全局地图作为观测输入；

S3、综合考虑所述动态全局地图中越野车的路程与能耗设计奖励函数，计算越野车在当前状态下执行动作后获得的奖励值；

S4、根据目标距离设计深度强化学习的探索策略，用于控制越野车在当前状态下执行动作的类型；

S5、结合所述探索策略和所述奖励函数对所述深度卷积神经网络模型进行端到端的训练，以使越野车从起点到终点的行驶过程中获得的奖励最大，实现越野车的三维路径规划。

2.如权利要求1所述的基于深度强化学习的越野车三维路径规划方法，其特征在于，所述最优动作价值函数具体为：

式中，Q_*(s,a)是深度卷积神经网络模型的最优动作价值，E表示期望值，S表示越野车的状态空间，A表示越野车的动作空间，a_t表示越野车在t时刻的动作，s_t表示越野车在t时刻的状态，U_t表示越野车在t时刻的累积奖励。

3.如权利要求2所述的基于深度强化学习的越野车三维路径规划方法，其特征在于，所述步骤S1中的深度卷积神经网络的损失函数为：

式中，L(θ)表示损失值，E表示期望值，p是状态转移函数，表示深度卷积神经网络在t+1时刻做出的预测，θ表示深度卷积神经网络的参数。

4.如权利要求1所述的基于深度强化学习的越野车三维路径规划方法，其特征在于，所述步骤S1中的深度卷积神经网络模型包括依次连接的输入层、第一卷积主干层、最大池化层、第二卷积主干层、第一全连接层和第二全连接层，所述第一全连接层由所述第二卷积主干层引出两个分支，一个分支经所述第一全连接层输出预设数量个节点，用来评估方位动作，另一个分支经所述第一全连接层输出预设数量个节点，用来预测当前所处状态，最后将两个分支线性连接，经所述第二全连接层输出预设数量方位动作的Q值。

5.根据权利要求1所述的基于深度强化学习的越野车三维路径规划方法，其特征在于，所述步骤S2中构建随越野车移动的动态全局地图作为观测输入，具体包括如下步骤：

S21、设置观测输入为三层的RGB图像：设置动态全局地图尺寸为100*100，将越野车的当前位置、终点位置以及三维地图分别设置在RGB图像的不同层，采用8*8*1尺寸的图像代表越野车的当前位置，采用5*5*1尺寸的图像代表终点位置；

S22、确定步骤S21中位于第三层的地图图像：以所述越野车的当前位置与所述越野车的终点位置的连线作为对角线形成一个矩形，用该矩形在原始地图上相应位置截取地图图像，将截取后的地图图像各边界分别向外扩展，将扩展后的地图周围用0补边形成100*100*1的三维地图，以此作为第三层的地图图像；

S23、确定步骤S2中所述的观测输入：将步骤S21所述包含越野车的当前位置和终点位置的100*100*1的两层图像与步骤S22所述三维地图组合形成100*100*3的输入图像；

S24、重复步骤S22和步骤S23，随着越野车当前位置的移动获取动态全局地图作为输入图像，直至深度卷积神经网络模型训练结束。

6.根据权利要求1所述的基于深度强化学习的越野车三维路径规划方法，其特征在于，所述步骤S3的奖励函数具体为：

R＝R_d+R_e+R_g

式中，R表示从越野车在当前状态下执行动作获得的奖励，R_d表示距离奖励，R_e表示能耗奖励，R_g表示越野车到达终点位置的奖励。