[发明专利]自动驾驶方法、训练方法及相关装置

说明书

本申请公开了一种自动驾驶方法、训练方法及相关装置，该方法包括：自动驾驶装置根据自动驾驶任务的M组历史路径，确定所述自动驾驶任务的任务特征向量，所述任务特征向量为表征所述自动驾驶任务的特征的向量，M为大于0的整数；所述自动驾驶装置根据所述任务特征向量和状态向量，确定所需执行的目标驾驶操作，所述状态向量用于表征所述自动驾驶装置的行驶状态；所述自动驾驶装置执行所述目标驾驶操作。本申请实施例中，自动驾驶装置利用自动驾驶任务的历史路径确定该自动驾驶任务的任务特征向量，进而根据该任务特征向量有针对性的制定出驾驶策略；可以有效利用已有的历史路径，制定出更好的驾驶策略。

技术领域

本申请涉及人工智能领域，尤其涉及一种自动驾驶方法、训练方法及相关装置。

背景技术

人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能领域的研究包括机器人，自然语言处理，计算机视觉，决策与推理，人机交互，推荐与搜索，AI基础理论等。

自动驾驶是人工智能领域的一种主流应用，自动驾驶技术依靠计算机视觉、雷达、监控装置和全球定位系统等协同合作，让机动车辆可以在不需要人类主动操作下，实现自动驾驶。自动驾驶车辆使用各种计算系统来帮助将乘客从一个位置运输到另一位置。一些自动驾驶车辆可能要求来自操作者(诸如，领航员、驾驶员、或者乘客)的一些初始输入或者连续输入。自动驾驶车辆准许操作者从手动模操作式切换到自动驾驶模式或者介于两者之间的模式。由于自动驾驶技术无需人类来驾驶机动车辆，所以理论上能够有效避免人类的驾驶失误，减少交通事故的发生，且能够提高公路的运输效率。因此，自动驾驶技术越来越受到重视。

自动驾驶车辆通常行驶在复杂多变的动态场景中，经常需要处理之前未处理过的驾驶任务，例如新的场景中的泊车任务。由于无法穷举出自动驾驶车辆在行驶过程中可能需要处理的各种驾驶任务，也就无法制定出适用于各种驾驶任务的驾驶策略。当前通常采用强化学习来学习适用于新的驾驶任务的驾驶策略。强化学习(Reinforcement Learning，RL)是一种重要的机器学习方法，在自动驾驶、智能控制机器人及分析预测等领域有许多应用。采用强化学习可以针对特定的任务学习出很好的策略，但对于同类问题的其他任务，先前学习到的策略完全不能使用，对于新任务需要从头开始训练一个新的策略，这大大降低了强化学习的效率。举例来说，利用强化学习训练了一个用于自动泊车的网络模型，自动驾驶车辆利用该网络模型可以自动停到某种类型的停车位。然而，当停车位的类型改变时，该自动驾驶车辆需要重新训练一个新的网络模型。在实际应用中，自动驾驶车辆对于每一个新的驾驶任务均需要获取大量的训练数据进行训练，以便学习该驾驶任务的策略。然而，获取训练数据的过程会对自动驾驶车辆造成很大的磨损，并且成本高，时间开销大。因此，需要研究如何基于少量探索和训练，就可以针对任一种任务学习出很好的策略的方法。

发明内容

本申请实施例提供一种自动驾驶方法、训练方法及相关装置，可以基于少量探索和训练，快速地对任一种任务学习出很好的策略。

第一方面，本申请实施例提供了一种自动驾驶方法，该方法包括：自动驾驶装置根据自动驾驶任务的M组历史路径，确定所述自动驾驶任务的任务特征向量，所述任务特征向量为表征所述自动驾驶任务的特征的向量，M为大于0的整数；所述自动驾驶装置根据所述任务特征向量和状态向量，确定所需执行的目标驾驶操作，所述状态向量用于表征所述自动驾驶装置的行驶状态；所述自动驾驶装置执行所述目标驾驶操作。

通过任务抽象网络提取任务的特征信息，通过共享策略网络结合各任务独有的特征以及各任务共有的特征来确定处理各任务的策略，可以更加快速、准确地找到全局的更优策略，更具泛化能力，可以应用到相似的一类任务中。