[发明专利]一种车辆列队跟踪控制方法、装置及计算机可读存储介质

权利要求书

1.一种车辆列队跟踪控制方法，其特征在于，包括以下步骤：

获取自车、前车及领航车的状态误差向量，根据所述自车、前车及领航车的状态误差向量建立DDPG的策略网络和价值网络；

利用粒子群算法对DDPG的策略网络和价值网络进行训练，得到训练完备的DDPG网络；

根据所述自车、前车、领航车的状态误差向量及训练完备的DDPG网络获取车辆动作值，根据所述车辆动作值确定决策控制器的输出控制量，根据所述输出控制量确定车辆的节气门开度；

根据所述自车、前车及领航车的状态误差向量建立DDPG的策略网络，具体包括：在DDPG策略网络的输入层输入自车、前车及领航车的状态误差向量，所述DDPG策略网络包括若干个全连接层，所述DDPG策略网络的输出层输出车辆动作值；

根据所述自车、前车及领航车的状态误差向量建立DDPG的价值网络，具体包括：在所述DDPG价值网络的输入层输入自车、前车及领航车的状态误差向量，经过第一个全连接层后，所述自车、前车、领航车的状态误差向量与所述车辆动作值共同输入至第二个全连接层，DDPG价值网络的输出层输出执行最优动作评判标准值；

利用粒子群算法对DDPG的策略网络和价值网络进行训练，具体包括：

确定粒子群算法的种群数量、粒子维数，初始化粒子位置及速度，对粒子群每个粒子进行更新迭代，获取DDPG的最优连接权重，利用所述最优连接权重对DDPG的策略网络和价值网络进行训练；

所述对粒子群每个粒子进行更新迭代，获取DDPG的最优连接权重，具体包括：改进惯性权重因子，根据改进的惯性因子，对粒子群每个粒子进行更新迭代，获取DDPG的最优连接权重，所述改进的惯性因子为

ω＝m+hlog_T(T-t-1)

其中，m为惯性权重因子ω的收敛值，h0，T为最大迭代次数，t为当前迭代次数；

利用所述最优连接权重对DDPG的策略网络和价值网络进行训练，具体包括：价值网络采用基于执行最优动作评判标准值的确定性策略梯度进行梯度更新，策略网络根据损失函数进行梯度更新，并利用所述最优连接权重对DDPG的策略网络和价值网络进行训练；

所述损失函数的奖励值为R＝R₁+R₂+R₃+R₄，其中，R₂＝-ω₁|v₂-v₃|，R₃＝ω₂(|Δx_t-1|-|Δx_t|)-ω₃|Δx_t|，x₂、x₃分别为前车与自车的纵向坐标，L_safe为前车与自车静止时应保持的最小车间距，ω₁是速度误差的权重，v₂-v₃是自车与前车速度误差，ω₂是t-1时刻与t时刻两车间距误差变化量的权重，ω₃是t时刻自车与前车间距误差的权重，Δx_t是t时刻自车与前车的间距，Δx_t-1是t-1时刻自车与前车的间距，ω₄为自车加速度权重，|a|为受控车的控制器输出；

根据所述车辆动作值确定决策控制器的输出控制量，根据所述输出控制量确定车辆的节气门开度，具体包括：根据所述车辆动作值确定决策控制器的输出控制量，根据所述输出控制量及车辆节气门开度公式确定车辆的节气门开度，所述车辆节气门开度公式为u_throttle＝u_throttle,f+u_throttle,b，u_throttle,f为车辆发动机期望扭矩与理论扭矩之比，u_throttle,b为确定决策控制器的输出控制量，对于前车，u_throttle,b＝u_throttle,b2，

u_throttle.b2＝k_d(a₁-a₂)+k_p(v₁-v₂)+k_i(x₁-x₂-hv₂-L)，对于自车，u_throttle,b＝u_throttle,b3，

u_throttle.b3＝λ₁(k_d(a₂-a₃)+k_p(v₂-v₃)+k_i(x₂-x₃-hv₃-L_car-L_safe))+λ₂(k_d(a₁-a₃)+k_p(v₁-v₃)+k_i(x₁-x₃-2hv₃-2L_car-2L_safe))

其中，x₁、x₂、x₃分别为领航车、前车与自车的位置信息，v₁、v₂、v₃为领航车、前车与自车的速度，h为车间时距，L为车长，L_car为车长，L_safe为前车与自车静止时应保持的最小车间距，车辆动作值包括K_p、K_i、K_d，所述K_p、K_i、K_d分别为比例系数、积分系数、微分系数。