[发明专利]通过强化学习来执行个性化路径规划的方法及装置

说明书

本发明提供一种通过强化学习来执行个性化路径规划的方法及装置，该方法及装置对应于目标驾驶员的个性化最优策略，该个性化最优策略是通过对基于自动驾驶的公共准则而建立的公共最优策略进行调整后获得的，所述方法包括以下步骤：学习装置指示调整奖励网络，通过参考与包括在驾驶轨迹中的实际状况向量及实际状况相关的信息，生成第一调整奖励；指示公共奖励模块，通过参考与实际状况向量及实际动作相关的信息，生成第一公共奖励；指示估算网络，通过参考实际状况向量，生成实际估算值；以及学习装置指示第一损失层生成调整奖励损失，并以调整奖励损失为参照进行反向传播来学习调整奖励网络的至少一部分参数。

技术领域

本发明涉及用于自动驾驶车辆的方法及装置；更具体地，涉及通过使用人类驾驶数据作为学习数据(TRAINING DATA)来支持强化学习，从而执行个性化路径规划的方法、装置及其测试方法、测试装置。

背景技术

自动驾驶以安全、快速地使乘客移动为目的。然而，经常在执行路径规划时，自动驾驶要实现的目标和乘客想要的目标可能是不同的。

例如，一些乘客相比于快速但不稳定的驾驶体验，可能更想要没有突然刹车或突然加速的舒适的驾驶体验。在这种情况下，根据运载一些乘客的自动驾驶车辆所执行的路径规划，若指示自动驾驶车辆快速但不稳定地驾驶，则所述一些乘客可能会对由自动驾驶车辆执行的自动驾驶感到不满意。

因此，像这样将路径规划根据乘客进行个性化是很重要的，但目前并没有这种方法的研究。

发明内容

本发明的目的是解决上述问题。

本发明的另一个目的是提供一种学习方法，该方法通过使用人类驾驶数据作为学习数据来支持强化学习，从而提供个性化路径规划，向乘客提供满意的驾驶体验。

本发明的又一个目的是提供一种包括个性化奖励函数的方法，该个性化奖励函数通过使用人类驾驶数据作为学习数据来支持所述强化学习方法，进而提供所述个性化路径规划。

本发明的又一个目的是提供一种通过调整公共奖励函数来获取所述个性化奖励函数的方法，其中，调整公共奖励函数是为减少计算资源。

为了达到上述目的，并实现下述技术效果，本发明的技术特征如下。

根据本发明一实施例，提供一种通过使用至少一个用于执行强化学习方法的个性化奖励(reward)函数来支持目标车辆自动驾驶的学习方法，该方法对应于目标驾驶员的个性化最优策略，所述个性化最优策略是通过调整基于自动驾驶的公共准则而建立的公共最优策略而获得的，所述方法包括以下步骤：(a)当学习装置获取到所述目标驾驶员的一个以上的驾驶轨迹中分别包括的在与一个以上的实际状况向量相对应的时间点、并通过参考一个以上的实际状况执行的一个以上的实际动作的相关信息及其对应的所述实际状况向量时，执行以下步骤：(i)指示调整奖励网络，通过参考所述实际状况向量及所述实际动作的信息，分别生成与在每个所述时间点执行的每个所述实际动作相对应的一个以上的第一调整奖励，所述调整奖励网络构建为用于启动调整奖励函数，所述调整奖励函数用于从所述公共最优策略对应的公共奖励函数生成所述个性化奖励函数；(ii)指示对应于所述公共奖励函数的公共奖励模块，通过参考所述实际状况向量及所述实际动作的信息，分别生成与在每个所述时间点执行的每个所述实际动作相对应的一个以上的第一调整奖励；以及(iii)指示估算网络，通过参考所述实际状况向量，分别生成与在所述驾驶轨迹的每个所述时间点的每个所述实际状况相对应的一个以上的实际估算值，所述估算网络用于估算个性化奖励之和，所述个性化奖励之和是在基于所述公共最优策略的公共最优动作根据与其相对应的实际状况在被执行的过程中生成的；以及(b)所述学习装置指示第一损失层通过参考(i)与每个所述第一调整奖励及每个所述第一公共奖励相对应的每个第一个性化奖励、以及(ii)所述实际估算值，来生成至少一个调整奖励损失，并以所述调整奖励损失为参照进行反向传播来学习所述调整奖励网络的至少一部分参数。