[发明专利]换道决策模型生成方法和无人车换道决策方法及装置

权利要求书

1.一种换道决策模型生成方法，包括：

获取车辆换道的训练样本集，所述训练样本集包括多个训练样本组，每个所述训练样本组包括车辆按照规划的换道轨迹完成换道的过程中每个时间步长下的训练样本，所述训练样本包括一组状态量及对应的控制量，所述状态量包括目标车辆的位姿、速度、加速度，目标车辆本车道前车的位姿、速度、加速度以及目标车道上跟车的位姿、速度、加速度；所述控制量包括目标车辆的速度、角速度；

通过所述训练样本集对基于深度强化学习网络的决策模型进行训练，得到换道决策模型，所述换道决策模型使得目标车辆的状态量与对应的控制量相关联；

所述基于深度强化学习网络的决策模型包括基于学习的预测网络和预先训练完成的基于规则的目标网络，所述通过所述训练样本集对基于深度强化学习网络的决策模型进行训练，得到换道决策模型的步骤包括：

对于预先加入经验池的训练样本集，将每组训练样本中的任一状态量作为所述预测网络的输入，得到所述预测网络对该状态量的下一时间步长的预测控制量；将训练样本中该状态量的下一时间步长的状态量和对应的控制量作为所述目标网络的输入，得到所述目标网络输出的价值评估Q值；

将所述预测控制量作为预先构建的环境模拟器的输入，得到所述环境模拟器输出的环境奖励以及下一时间步长的状态量；

将该状态量、对应的预测控制量、所述环境奖励以及下一时间步长的状态量作为一组经验数据存储到经验池中；

当所述经验数据的组数每达到第一预设数目后，根据多组所述经验数据以及每组经验数据对应的所述目标网络输出的Q值，计算损失函数，优化所述损失函数，得到所述预测网络参数变化的梯度，更新所述预测网络参数直至所述损失函数收敛；

当所述预测网络参数的更新次数达到第二预设数目后，获取经验池中环境奖励高于预设值的预测控制量和对应的状态量，或者获取经验池中环境奖励排名位于前第三预设数目的预测控制量和对应的状态量，将所述预测控制量以及对应的状态量添加至所述目标网络的目标网络训练样本集中，以训练更新所述目标网络的参数。

2.根据权利要求1所述的方法，所述训练样本集通过以下至少一种方式得到：

第一获取方式：

在模拟器中按照基于规则的优化算法使得车辆完成换道，获取多次换道过程中目标车辆和目标车辆本车道前车以及目标车道上跟车的每一时间步长下的所述状态量和对应的所述控制量；

第二获取方式：

从存储车辆换道信息的数据库中，采样出车辆换道过程中的车辆数据，所述车辆数据包括目标车辆和目标车辆本车道前车以及目标车道上跟车的每一时间步长下的所述状态量和对应的所述控制量。

3.根据权利要求1所述的方法，其特征在于，所述损失函数为第一预设数目个预设网络的价值评估Q值与目标网络的价值评估Q值的均方误差，所述预设网络的价值评估Q值关于输入的状态量、对应预测控制量以及预测网络的策略参数；所述目标网络的价值评估Q值关于输入的训练样本中的状态量、对应控制量以及目标网络的策略参数。