[发明专利]基于部分可观测迁移强化学习的自动驾驶决策方法及系统

权利要求书

1.一种基于部分可观测迁移强化学习的自动驾驶决策方法，其特征在于，包括如下步骤：

S1、基于虚拟环境数据库提供的环境模型，情景单元使用强化学习算法得到相应的驾驶策略接着，情景单元将驾驶策略集合扩展为驾驶方案集合最后，情景单元输出的驾驶方案集合将被添加到驾驶方案数据库中；

S2、在决策单元中，初始化Q值网络Q(x，o；θ)、终止网络β(x，o；θ_β)及相应的目标网络Q(x，o；θ^-)和把从驾驶方案数据库中选择的驾驶方案集合Π＝{o₁，…，o_i，…，o_n}视为动作集合A；

S3、在时刻t，感知单元将观测x_t输入到决策单元的Q值网络中；随后，Q值网络输出驾驶方案o_i的Q值Q(x_t，o_i；θ)，其中i＝{1，2，…，n}；

S4、在决策单元中，使用最大熵Mellowmax算法将驾驶方案o_i的Q值Q(x_t，o_i；θ)转换为概率值P_i；此阶段将输出概率分布{P₁，…，P_i，…，P_n}；其中i＝{1，2，…，n}；

S5、决策单元将基于S4得到的概率分布选出驾驶方案o_i＝{I_i，π_i，β(x，o_i；θ_β)}；然后，动作规划单元将根据驾驶方案o_i中的策略π_i，决定在观测x_t下智能体要执行的动作a_t；接着，控制单元将动作a_t转换成控制信号，改变车辆的行驶状态；最后，感知单元会将奖励r_t和下一个观测x_t+1反馈给智能体；将(x_t，a_t，r_t，x_t+1)看作是一个经验元组，存放到回放池中；

S6、在决策单元中，从回放池中随机抽取经验元组(x_j，a_j，r_j，x_j+1)；

S7、在决策单元中，获得在观测x_j+1下最大Q值对应的行车方案o_max和最小Q值对应的行车方案o_min；

S8、在决策单元中，计算权重w；

S9、在决策单元中，使用玻尔兹曼软最大化算法选择目标驾驶方案o_target；

S10、在决策单元中，计算驾驶方案o_i的目标值y_i；

S11、在决策单元中，计算驾驶方案o_i的损失L_i；

S12、在决策单元中，使用梯度下降算法更新Q值网络参数；

S13、在决策单元中，使用反向传播算法更新终止网络的参数；

即：

其中，i＝{1，2，…，n}；

S14、在决策单元中，对于观测x_t+1，基于终止概率β(x_t+1，o_i；θ_β)来判断驾驶方案o_i是否是可靠的；如果β(x_t+1，o_i；θ_β)＜η，那么就认为方案o_i在路况x_t+1下是可靠的，执行方案重用，即继续使用驾驶方案o_i与环境交互；如果β(x_t+1，o_i；θ_β)≥η，那么就认为方案o_i在路况x_t+1下是不安全的，选择新的驾驶方案；其中，η是安全阈值；S15、在决策单元中，每与环境进行K次交互，便将Q值网络和终止网络的参数赋值给对应的目标网络；

S16、重复S4——S15，直至到达终止状态T。