[发明专利]车辆动作预测方法、装置、电子设备及存储介质

权利要求书

1.一种车辆动作预测方法，其特征在于，所述车辆动作预测方法包括：

获取车辆驾驶的样本数据，所述样本数据中包括车辆外部环境的连续多张样本状态图，以及每张样本状态图对应的车辆动作真实值；

根据所述多张样本状态图构建多个样本四元组；

根据所述多个样本四元组和所述每张样本状态图对应的车辆动作真实值，训练预设的车辆神经网络初始模型，得到车辆动作预测模型；

根据所述车辆动作预测模型预测车辆动作。

2.根据权利要求1所述的车辆动作预测方法，其特征在于，所述根据所述样本状态图构建多个样本四元组，包括：

从所述多张样本状态图中分别提取车辆状态信息；

依次以所述多张样本状态图中每张样本状态图为目标样本状态图，根据所述目标样本状态图对应的车辆状态信息构建样本四元组；

其中，所述样本四元组为(s,a,r,s_)，s为从当前样本状态图提取得到的车辆状态信息，a为当前车辆状态下车辆执行的第一动作；r为当前车辆状态下执行第一动作a后获得的即时奖励，s_为当前车辆状态下执行第一动作a并延时预设时间后，所得样本状态图经提取得到的车辆状态信息。

3.根据权利要求2所述的车辆动作预测方法，其特征在于，所述根据所述目标样本状态图对应的车辆状态信息构建样本四元组，包括：

获取所述目标样本状态图对应的车辆状态信息；

获取所述目标样本状态图对应的车辆状态下，车辆执行的第一动作；

根据所述车辆状态信息，计算当前车辆状态下执行第一动作后获得的即时奖励；

获取所述目标样本状态图经预设时间之后的样本状态图的车辆状态信息；

根据所述目标样本状态图对应的车辆状态信息、所述第一动作、所述即使奖励以及所述目标样本状态图经预设时间之后的样本状态图的车辆状态信息，构建所述样本四元组。

4.根据权利要求3所述的所述车辆动作预测方法，其特征在于，所述根据所述车辆状态信息，计算当前车辆状态下执行第一动作后获得的即时奖励，包括：

根据所述车辆状态信息，计算当前车辆状态下执行第一动作后获得的主奖励；

获取当前车辆状态的前一个车辆状态下第二动作的幅度，以及所述第一动作的幅度；

计算所述第一动作的幅度以及所述第二动作的幅度之差，作为所述动作奖励；

根据所述主奖励和所述动作奖励，计算所述即时奖励。

5.根据权利要求4所述的所述车辆动作预测方法，其特征在于，所述根据所述车辆状态信息，计算当前车辆状态下执行第一动作后获得的主奖励，包括：

从所述车辆状态信息获取所述车辆与前方最近车辆的直线距离；

获取所述车辆当前的车速；

根据所述直线距离和所述车辆的车速，计算所述主奖励。

6.根据权利要求4所述的所述车辆动作预测方法，其特征在于，所述根据所述主奖励和所述动作奖励，计算所述即时奖励，包括：

若所述直线距离在第一预设阈值范围内，则获取预设的正向奖励，并计算所述主奖励、所述动作奖励和所述正向奖励的和值，作为所述即时奖励；

若所述直线距离在第二预设阈值范围内，则获取预设的负向奖励，并计算所述主奖励、所述动作奖励和所述负向奖励的和值，作为所述即时奖励；

若所述直线距离在所述第一预设阈值范围和所述第二预设阈值范围之外，则计算所述主奖励和所述动作奖励的和值，作为所述即时奖励。

7.根据权利要求1所述的车辆动作预测方法，其特征在于，所述根据所述多个样本四元组和所述每张样本状态图对应的车辆动作真实值，训练预设的车辆神经网络，得到车辆动作预测模型，包括：

将所述多个样本四元组依次输入到所述车辆神经网络初始模型，以获取每张样本状态图对应的车辆动作预测值；

对每张样本状态图对应的车辆动作真实值和车辆动作预测值进行收敛，得到所述车辆动作预测模型。