[发明专利]一种改进深度强化学习的智能汽车类人跟驰行为控制方法

权利要求书

1.一种改进深度强化学习的智能汽车类人跟驰行为控制方法，其特征在于：包括以下步骤：

第一步、采集真实驾驶员跟驰行驶时的制动踏板和油门踏板开度数据、与前车的距离数据、自车的速度数据及前车的速度数据；

第二步、获得真实驾驶员跟驰行为数据集的离散制动踏板和油门踏板开度的动作概率分布p；

第三步，构建跟驰行为策略模型，包括：

步骤1：构建DDPG跟驰行为策略模型的状态输入；模型的状态空间S以自车与前车的间距s_rel、自车的速度v₀、前车的速度v_f作为状态空间的输入：

S＝{s_rel，v₀，v_f}

步骤2：构建跟驰行为策略模型的复合奖励函数r：

r＝w₁·r₁+w₂·r₂

r₁为相似奖励函数，r₂为多目标奖励函数，w₁为相似奖励函数的权重，w₂为多目标奖励函数的权重，w₁+w₂＝1,w₁＞0,w₂＞0；

步骤3：构建奖励评估器T(R)：

根据建立的多目标奖励函数r₂的表达式，分别计算真实驾驶员跟驰行为的制动踏板或油门踏板开度的动作的平均奖励值R₂与当前深度强化学习策略给出的动作的平均奖励R'₂，当R'₂≥R₂时，减小w₁的值，增大w₂的值；

步骤4：构建DDPG框架，包括：构建DDPG的Actor网络μ(ω₁)及其目标网络target Actor网络构建DDPG的Critic网络及其目标网络target Critic网络ω₁、为神经网络参数；Actor网络μ(ω₁)根据当前的状态，输出一个制动踏板或油门踏板开度动作；

步骤5：建立Replaybuffer经验回放缓存区；

将状态-动作-奖励-状态转移的四元组{s_t,a_t,r_2,t,s_t+1}存入Replaybuffer经验回放缓存区中，直至Replaybuffer经验回放缓存区收集N₀个状态-动作-奖励-状态转移的四元组{s_t,a_t,r_2,t,s_t+1}，其中下标t为时间步，s_t代表t时刻的状态，a_t代表t时刻做出的动作，r_2,t代表t时刻多目标奖励函数给出的奖励，s_t+1代表下一个时间t+1的状态；

第四步，训练模型，包括：

步骤1：从Replaybuffer经验回放缓存区中采样n个四元组{s_i,a_i,r_2,i,s_i+1}_i＝1,....n，下标i表示该四元组是第i个被采样的四元组；

步骤2：计算DDPG网络给出的离散制动踏板或油门踏板开度的动作概率分布q；

步骤3：计算所有采样的四元组的相似奖励函数r₁；

步骤4：计算每个四元组的复合奖励函数r_i；

步骤5：对每个元组，用目标网络target Critic网络计算预测价值；

步骤6：更新当前的Actor网络和当前的Critic网络；

步骤7：奖励评估器T(R)计算真实驾驶员跟驰行为的制动踏板或油门踏板开度的动作的平均奖励值R₂，与当前深度强化学习策略给出的动作的平均奖励R′₂；

步骤8：更新目标网络；

重复上述步骤，直至训练收敛。