[发明专利]车辆行驶决策模型的训练方法、行驶决策确定方法及装置

说明书

本说明书公开了车辆行驶决策模型的训练方法、行驶决策确定方法及装置。本说明书实施例中的方法及装置，在训练决策模型的过程中，根据当前时刻的各信息得出当前时刻的额外奖励。额外奖励区别于一般奖励，该额外奖励是根据历史上的至少部分观测特征得到的。额外奖励与当前观测特征与预存的历史观测特征的可达性负相关。则训练后的决策模型更加关注历史上未被训练到的观测特征，能够对输入决策模型的数据进行更加全面的处理，也能够降低决策模型对历史上已经被训练到的观测特征的关注程度，提高决策模型的训练效率。此外，即使在某一方面的信息有限的情况下，通过训练后的决策模型也能够敏感的识别出该方面的信息并将其作为确定行驶决策的依据。

技术领域

本说明书涉及无人驾驶技术领域，尤其涉及一种车辆行驶决策模型的训练方法、行驶决策确定方法及装置。

背景技术

目前，车辆的智能化作为人工智能技术的重要组成部分，在社会生产、生活中的作用日益凸显，成为引导交通技术发展的主要方向之一。

在现有技术中，无人车及具有辅助驾驶功能的车辆(以下统称“车辆”)多采用预设的决策模型，根据在预设时间段内对环境中的障碍物的观测结果，对车辆所处的环境的分析，得出与该环境相适应的行驶决策，使得车辆能够根据该行驶决策行驶。可见，对决策模型的训练决定了决策模型所输出的行驶决策的准确性。

然而，现有的决策模型的训练方法无法根据预设时间段内采集的有限的环境信息，对环境信息进行高效、全面地处理。例如，若当前环境中的障碍物多处于高速运动的状态，“障碍物的速度”这一特征相较于环境信息中的其他特征更加突出，则“障碍物的速度”将对行驶策略的确定起主导作用；而诸如“障碍物距该车辆的距离”这样的相较于“障碍物的速度”较为不突出的特征，在决策模型的训练过程中发挥的作用，将一定程度的被稀释掉。

并且，现有的决策模型的训练方法也无法敏锐的识别出环境中的突发事件。例如，车辆长时间在较为稳定的环境中行驶时，突然有行人闯入车辆行驶前方的车道，由于该“突然闯入”的行为难以预料，则在决策模型的训练过程中，也往往无法对此种突发事件进行及时的处理。特别是当该车辆处于高速行驶的状态时，对环境信息处理的低效性、片面性和不敏感性将会严重影响决策模型的训练效果。使得根据该训练后的决策模型无法输出适应于车辆所处的环境和车辆行驶状态的行驶决策，危及车辆的行驶安全。在车辆处于交通状况较为复杂的环境中时，上述弊端将更加明显。

发明内容

本说明书实施例提供一种车辆行驶决策模型的训练方法、行驶决策确定方法及装置，以部分的解决现有技术存在的上述问题。

本说明书实施例采用下述技术方案：

本说明书提供的一种车辆行驶决策模型的训练方法，所述方法包括：

确定车辆当前所处环境的环境信息和车辆当前的行驶状态信息；

根据所述环境信息和行驶状态信息，确定当前观测特征；

将所述当前观测特征以及所述车辆当前正在执行的动作输入至待训练的决策模型，得到所述待训练的决策模型输出的行驶策略以及所述行驶策略对应的一般奖励；并且，根据所述当前观测特征与预存的历史观测特征的可达性，得到所述行驶策略对应的额外奖励，其中，所述可达性与所述额外奖励负相关；

根据确定出的一般奖励和额外奖励，确定所述行驶策略对应的综合奖励；

以所述综合奖励最大化为训练目标，对所述决策模型进行训练。

可选地，所述环境信息包括：所述车辆感知的环境中的各障碍物的状态信息。

可选地，根据所述当前观测特征与预存的历史观测特征的可达性，得到所述行驶策略对应的额外奖励，具体包括：

确定所述当前观测特征与满足预设条件的历史观测特征的可达性；所述满足预设条件的历史观测特征是预先存储在缓存中的；