[发明专利]一种基于深度强化学习的多车队列控制方法

权利要求书

1.一种基于深度强化学习的多车队列控制方法，其特征在于，包括如下步骤：

步骤1：使用基于深度强化学习的车队共享深度确定性策略梯度算法PSDDPG，堆叠4帧的状态量作为网络的输入；首先我们使用前后四帧的本车和前车状态作为神经网络输入，一帧状态量为[d，v1，v2，a1，a2]，其中前后车之间距离d，前车车速v1，前车加速度a1，后车车速v2，后车加速度a2，一共20个状态量作为神经网络的输入；

步骤2：使用深度强化学习算法DDPG对跟车、换道、决策网络分别进行训练，其使用的网络均为演出-评论家Actor-Critic网络架构；在探索过程中使用车队共享网络的训练方法产生训练样本填充经验池，相比于把所有车队成员状态作为输入，输出成员个数的动作，只将每一辆智能网联汽车自身和前车的状态作为输入，输出控制自身的一个动作，与此同时所有智能网联汽车共享决策网络，共同参与网络的训练；

步骤3：在训练网络过程中每个周期结束时对经验池进行备份，在每个周期结束时，对经验池进行备份：

M0＝M

其中M表示经验池、M0表示备用经验池，当本周期没有达到设定的条件时，我们认为该周期为非法周期，用之前备份的经验池进行覆盖，防止非法样本对经验池的污染，在本次实验中，判定依据设定为前后两帧本车的车速：

M＝M0，ifv_ego[0]＜0.01 and v_ego[1]＜0.01

其中v_ego[0]表示本车第一帧的车速、v_ego[1]表示本车第二帧的车速；

步骤4：从经验池中按照小批次抽样之后，计算目标函数y_i：

y_i＝r_i+γQⁱ(s_i+1，μ′(s_i+1|θ^μ′)θ^Q)

其中r_i表示即时回报、γ表示折扣因子、Qⁱ(s_i+1，μ′(s_i+1|θ^μ′)θ^Q)表示状态s_i+1采取演出网络的目标网络μ′(s_i+1|θ^μ′)的策略所获得的价值、θ^μ′表示演出网络的目标网络的参数、θ^Q表示评论家网络的参数；然后通过最小化损失loss更新评论家网络：

其中N表示小批次抽样个数、y_i表示目标网络、Q(s_i，a_i|θ^Q)表示状态s_i在策略π下采取动作a_i的价值、θ^Q表示评论家网络的参数；最后使用策略梯度下降更新演出网络：

其中N表示小批次抽样个数、表示Q(s,a∣θ^Q)对动作a的偏分，表示μ(s∣θ^μ)对θ^μ的偏分，μ(s∣θ^μ)表示演出网络，θ^μ表示演出网络的参数。

2.根据权利要求1所述的一种基于深度强化学习的多车队列控制方法，其特征在于，所述步骤1还包括使用归一化对神经网络的输入进行处理，归一化后的输入范围为[-1，1]。

3.根据权利要求1所述的一种基于深度强化学习的多车队列控制方法，其特征在于，所述步骤1中，所述DDPG算法中Actor网络所使用神经网络模型结构由5个全连接层组成，其中前4个网络使用relu激活函数，最后一层网络使用tanh激活函数将输出映射到[-1，1]区间；Critic网络所使用神经网络模型结构由5个全连接层组成，其中前4个网络使用relu激活函数，最后一层网络不使用激活函数直接输出q值进行评估，而后，对每一帧状态归一化使用的系数为[0.1，0.1，0.1，0.1，0.1]。