[发明专利]通过强化学习来执行个性化路径规划的方法及装置

权利要求书

1.一种通过使用至少一个用于执行强化学习方法的个性化奖励函数来支持目标车辆自动驾驶的学习方法，该方法对应于目标驾驶员的个性化最优策略，所述个性化最优策略是通过调整基于自动驾驶的公共准则而建立的公共最优策略而获得的，其中，所述方法包括以下步骤：

(a)当学习装置获取到所述目标驾驶员的一个以上的驾驶轨迹中分别包括的在与一个以上的实际状况向量相对应的时间点、并通过参考一个以上的实际状况执行的一个以上的实际动作的相关信息及其对应的所述实际状况向量时，执行以下步骤：(i)指示调整奖励网络，通过参考所述实际状况向量及所述实际动作的信息，分别生成与在每个所述时间点执行的每个所述实际动作相对应的一个以上的第一调整奖励，所述调整奖励网络构建为用于启动调整奖励函数，所述调整奖励函数用于从所述公共最优策略对应的公共奖励函数生成所述个性化奖励函数；(ii)指示对应于所述公共奖励函数的公共奖励模块，通过参考所述实际状况向量及所述实际动作的信息，分别生成与在每个所述时间点执行的每个所述实际动作相对应的所述一个以上的第一调整奖励；以及(iii)指示估算网络，通过参考所述实际状况向量，分别生成与在所述驾驶轨迹的每个所述时间点的每个所述实际状况相对应的一个以上的实际估算值，所述估算网络用于估算个性化奖励之和，所述个性化奖励之和是在基于所述公共最优策略的公共最优动作根据与其相对应的实际状况在被执行的过程中生成的；以及

(b)所述学习装置指示第一损失层通过参考(i)与每个所述第一调整奖励及每个所述第一公共奖励相对应的每个第一个性化奖励、以及(ii)所述实际估算值，来生成至少一个调整奖励损失，并以所述调整奖励损失为参照进行反向传播来学习所述调整奖励网络的至少一部分参数。

2.根据权利要求1所述的方法，其中，在所述步骤(b)中，所述学习装置通过参考以下公式来指示所述第一损失层生成所述调整奖励损失：

其中，表示对应于所述驾驶轨迹中的第一驾驶轨迹至第N驾驶轨迹，V_common(st)表示在所述驾驶轨迹中特定驾驶轨迹的第t时间点到最后时间点，与基于所述通用最优策略的所述公共最优动作执行期间生成的个性化奖励之和相对应的所述实际估算值中的特定实际估算值，R_common(s_r，a_r，s_r+1)+R_driver(s_r，a_r，s_r+1)表示与所述特定驾驶轨迹的所述第t时间点相同或之后的第r时间点相对应的所述第一个性化奖励中的第一特定个性化奖励，表示在所述特定驾驶轨迹的所述最初时间点到所述最后时间点的时间范围内生成的所述第一调整奖励中的第一特定调整奖励的绝对值之和，γ及α表示已设置的常数。

3.根据权利要求1所述的方法，其中，还包括以下步骤：

(c)所述学习装置还执行以下步骤：(i)指示所述调整奖励网络，通过参考所述实际状况向量，生成与所述驾驶轨迹的每个所述时间点执行的每个所述公共最优动作相对应的一个以上的第二调整奖励；(ii)指示所述公共奖励模块，通过参考所述实际状况向量，生成与所述驾驶轨迹的每个所述时间点执行的每个所述公共最优动作相对应的一个以上的第二公共奖励；(iii)指示所述估算网络，通过参考与在所述驾驶轨迹的每个所述时间点执行所述公共最优动作而导致的虚拟状况相对应的一个以上的每个虚拟状况向量，生成与所述虚拟状况相对应的一个以上的虚拟估算值；以及

(d)所述学习装置指示第二损失层通过参考(i)与每个所述第二调整奖励及每个所述第二公共奖励相对应的每个第二个性化奖励、(ii)所述虚拟估算值以及(iii)所述实际估算值，生成至少一个估算损失，并以所述估算损失为参照进行反向传播来学习所述估算网络的至少一部分参数。