[发明专利]换道决策模型生成方法和无人车换道决策方法及装置

说明书

本说明书公开一种换道决策模型生成方法和无人车换道决策方法及装置，其中，所述换道决策模型生成方法包括：获取车辆换道的训练样本集，所述训练样本集包括多个训练样本组，每个所述训练样本组包括车辆按照规划的换道轨迹完成换道的过程中每个时间步长下的训练样本，所述训练样本包括一组状态量及对应的控制量，所述状态量包括目标车辆的位姿、速度、加速度，目标车辆本车道前车的位姿、速度、加速度以及目标车道上跟车的位姿、速度、加速度；所述控制量包括目标车辆的速度、角速度；通过所述训练样本集对基于深度强化学习网络的决策模型进行训练，得到换道决策模型，所述换道决策模型使得目标车辆的状态量与对应的控制量相关联。

技术领域

本发明涉及无人驾驶技术领域，具体而言，涉及一种换道决策模型生成方法和无人车换道决策方法及装置。

背景技术

在无人驾驶领域，无人驾驶车辆的自主系统的架构通常可分为感知系统和决策控制系统，传统决策控制系统采用基于优化的算法，但是，大多数经典的基于优化的方法因为计算量复杂，导致无法解决复杂决策任务问题。而实际中，车辆行驶情况复杂，非结构化环境中无人驾驶车辆使用复杂的传感器，例如相机和激光测距仪，由于上述传感器获取的传感数据通常取决于复杂且未知的环境，将上述传感器获得的传感数据直接输入到算法框架后，使算法输出最佳控制量具有困难。传统方法中，通常使用slam算法来绘制出环境，然后在结果图中获取轨迹，但是这种基于模型的算法，在车辆行驶时，由于高度的不确定性(比如路面的颠簸)增加了不稳定因素。

发明内容

本说明书提供一种换道决策模型生成方法和无人车换道决策方法及装置，用以克服现有技术中存在的至少一个技术问题。

根据本说明书实施例的第一方面，提供一种换道决策模型生成方法，包括：

获取车辆换道的训练样本集，所述训练样本集包括多个训练样本组，每个所述训练样本组包括车辆按照规划的换道轨迹完成换道的过程中每个时间步长下的训练样本，所述训练样本包括一组状态量及对应的控制量，所述状态量包括目标车辆的位姿、速度、加速度，目标车辆本车道前车的位姿、速度、加速度以及目标车道上跟车的位姿、速度、加速度；所述控制量包括目标车辆的速度、角速度；

通过所述训练样本集对基于深度强化学习网络的决策模型进行训练，得到换道决策模型，所述换道决策模型使得目标车辆的状态量与对应的控制量相关联。

可选地，所述训练样本集通过以下至少一种方式得到：

第一获取方式：

在模拟器中按照基于规则的优化算法使得车辆完成换道，获取多次换道过程中目标车辆和目标车辆本车道前车以及目标车道上跟车的每一时间步长下的所述状态量和对应的所述控制量；

第二获取方式：

从存储车辆换道信息的数据库中，采样出车辆换道过程中的车辆数据，所述车辆数据包括目标车辆和目标车辆本车道前车以及目标车道上跟车的每一时间步长下的所述状态量和对应的所述控制量。

可选地，所述基于深度强化学习网络的决策模型包括基于学习的预测网络和预先训练完成的基于规则的目标网络，所述通过所述训练样本集对基于深度强化学习网络的决策模型进行训练，得到换道决策模型的步骤包括：

对于预先加入经验池的训练样本集，将每组训练样本中的任一状态量作为所述预测网络的输入，得到所述预测网络对该状态量的下一时间步长的预测控制量；将训练样本中该状态量的下一时间步长的状态量和对应的控制量作为所述目标网络的输入，得到所述目标网络输出的价值评估Q值；

将所述预测控制量作为预先构建的环境模拟器的输入，得到所述环境模拟器输出的环境奖励以及下一时间步长的状态量；

将该状态量、对应的预测控制量、所述环境奖励以及下一时间步长的状态量作为一组经验数据存储到经验池中；