[发明专利]车辆场景预警决策方法、装置、计算机设备和存储介质

权利要求书

1.一种车辆场景预警决策方法，其特征在于，所述方法包括：

获取车辆的车况数据序列和当前驾驶场景的场景图像；

将所述场景图像输入已训练好的场景决策模型的场景特征提取网络，提取所述场景图像的空间特征；

将所述车况数据序列输入已训练好的场景决策模型的车况预测网络，得到预测的车辆运动序列；

将所述场景特征和车辆运动序列融合，通过所述场景决策模型的决策器得到车辆在当前驾驶场景下的预警信息。

2.根据权利要求1所述的方法，其特征在于，将所述场景图像输入已训练好的场景决策模型的场景特征提取网络，提取所述场景图像的空间特征，包括：

将所述场景图像输入已训练好的场景决策模型的场景特征提取网络，通过所述场景特征提取网络的特征提取结构提取所述场景图像的场景特征；

将所述场景图像和所述场景特征融合，作为场景特征提取网络的注意力结构的输入，通过所述注意力结构输出注意力权重；

根据所述场景特征和所述注意力权重，得到所述场景图像的空间特征。

3.根据权利要求1所述的方法，其特征在于，所述将所述车况数据序列输入已训练好的场景决策模型的车况预测网络，得到预测的车辆运动序列，包括：

将所述车况数据序列输入已训练好的场景决策模型的车况预测网络，所述车况预测网络的编码结构提取所述车况数据序列的高层信息，生成特征向量；

将所述特征向量输入所述车况预测网络的解码结构，所述解码结构以所述特征向量为初始状态对编码信息进行解码，得到预测的车辆运动序列。

4.根据权利要求1所述的方法，其特征在于，所述将所述场景特征和车辆运动序列融合，通过所述场景决策模型的决策器得到车辆在当前驾驶场景下的预警信息，包括：

将所述场景特征和车辆运动序列融合，通过所述场景决策模型的决策器得到当前驾驶场景是否存在安全隐患的预测结果；

当预测结果为当前驾驶场景存在安全隐患时，在车辆的人机交互界面显示预警信息，所述预警信息包括安全隐患类型和/或针对所述安全隐患的处理方式。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取训练样本，每个训练样本包括场景训练样本、标注的所述场景训练样本的第一空间特征、车况训练样本、标注的所述车况训练样本的第一车辆运动序列以及标注的所述场景训练样本和所述车况训练样本对应的第一预警信息；

将所述场景训练样本输入至所述场景特征提取网络，获取预测的第二空间特征，根据所述第一空间特征和所述第二空间特征的差异，调整所述场景特征提取网络的参数；

将所述车况训练样本输入至所述车况预测网络，获取预测的第二车辆运动序列，根据所述第二车辆运动序列和所述第一车辆运动序列的差异，调整所述车况预测网络的参数；

将所述第二空间特征和所述第二车辆运动序列作为决策器的训练输入，获取所述决策器输出的第二预警信息，根据所述第一预警信息和所述第二预警信息的差异调整所述决策器的参数，完成一次训练；

迭代多次训练过程，当损失函数满足目标值时，停止训练得到已训练好的场景决策模型。

6.根据权利要求5所述的方法，其特征在于，所述场景训练样本为采样周期内的多帧图像；

所述车况训练样本为采样周期内的车况数据。

7.一种车辆场景预警决策装置，其特征在于，所述装置包括：

采集模块，用于获取车辆的车况数据序列和在当前驾驶场景的场景图像；

空间特征提取模块，用于将所述场景图像输入已训练好的场景决策模型的场景特征提取网络，提取所述场景图像的空间特征；

车辆运动序列获取模块，用于将所述车况数据序列输入已训练好的的场景决策模型的车况预测网络，得到预测的车辆运动序列；

决策模块，用于将所述场景特征和车辆运动序列融合，通过所述场景决策模型的决策器得到车辆在当前驾驶场景下的预警信息。