[发明专利]自动驾驶方法、训练方法及相关装置

权利要求书

1.一种自动驾驶方法，其特征在于，包括：

自动驾驶装置根据自动驾驶任务的M组历史路径，确定所述自动驾驶任务的任务特征向量，所述任务特征向量为表征所述自动驾驶任务的特征的向量，M为大于0的整数；

所述自动驾驶装置根据所述任务特征向量和状态向量，确定所需执行的目标驾驶操作，所述状态向量用于表征所述自动驾驶装置的行驶状态；

所述自动驾驶装置执行所述目标驾驶操作；所述自动驾驶装置根据自动驾驶任务的M组历史路径，确定所述自动驾驶任务的任务特征向量包括：

所述自动驾驶装置获得所述M组历史路径；

所述自动驾驶装置利用任务抽象网络对所述M组历史路径做特征提取，得到M组中间特征向量，所述M组中间特征向量与所述M组历史路径一一对应；

所述自动驾驶装置根据所述M组中间特征向量，确定所述任务特征向量。

2.根据权利要求1所述的方法，其特征在于，所述自动驾驶装置根据所述任务特征向量和状态向量，确定所需执行的目标驾驶操作包括：

所述自动驾驶装置利用共享策略网络对所述任务特征向量和所述状态向量做处理，得到所述目标驾驶操作，所述共享策略网络为用于实现强化学习的神经网络。

3.根据权利要求2所述的方法，其特征在于，所述自动驾驶装置获得所述M组历史路径中的任一组历史路径包括：

所述自动驾驶装置利用所述共享策略网络对参考特征向量和第一状态向量做处理，得到第一驾驶操作；所述参考特征向量为零向量或根据所述自动驾驶任务的N组历史路径确定的所述自动驾驶任务的特征向量，所述第一状态向量用于表征所述自动驾驶装置在第一时间步的行驶状态，N为大于0的整数；

所述自动驾驶装置在所述第一时间步执行所述第一驾驶操作；

所述自动驾驶装置获得所述自动驾驶装置在第二时间步的行驶状态和执行所述第一驾驶操作的回报，所述第二时间步为所述第一时间步的下一时间步；

所述自动驾驶装置根据完成或执行所述自动驾驶任务的T个时间步的信息，确定一组历史路径；所述T个时间步包括所述第一时间步，所述T个时间步中任一个时间步的信息包括所述自动驾驶装置在所述任一时间步的行驶状态、执行的驾驶操作以及得到的回报，T为不小于1的整数。

4.根据权利要求3所述的方法，其特征在于，所述自动驾驶装置利用所述共享策略网络对参考特征向量和第一状态向量做处理，得到第一驾驶操作之前，所述方法还包括：

所述自动驾驶装置获得所述N组历史路径；

所述自动驾驶装置根据所述N组历史路径对应的N个损失，更新所述自动驾驶任务对应的一组任务抽象网络参数，所述N个损失与所述N组历史路径一一对应；

所述自动驾驶装置利用所述任务抽象网络对所述N组历史路径做特征提取，得到N个中间特征向量，所述N个中间特征向量与所述N组历史路径一一对应；其中，所述任务抽象网络采用所述一组任务抽象网络参数对所述N组历史路径进行处理；

所述自动驾驶装置根据所述N个中间特征向量，确定所述参考特征向量。

5.根据权利要求4所述的方法，其特征在于，所述自动驾驶装置根据所述N组历史路径对应的N个损失，更新所述自动驾驶任务对应的一组任务抽象网络参数包括：

所述自动驾驶装置利用第一损失函数相对于所述任务抽象网络的参数的梯度值，更新所述任务抽象网络相对于所述自动驾驶任务的一组相对参数；所述一组任务抽象网络参数为所述任务抽象网络的参数与所述一组相对参数之差，所述第一损失函数用于计算所述N个损失的损失和。

6.根据权利要求5所述的方法，其特征在于，所述第一损失函数的计算公式如下：

其中，θ_TA表示所述任务抽象网络的参数；表示所述共享策略网络的输入为状态向量s_t和特征向量h(θ_TA)，输出为驾驶操作a_t的概率；H为最大步数，t表示时间步；b(s_t)表示用于计算所述自动驾驶装置在时间步t获得的回报的基准函数；r_t′表示所述自动驾驶装置在时间步t获得的真实回报；E_τ[]表示计算中括号中的期望。