[发明专利]基于部分可观测迁移强化学习的自动驾驶决策方法及系统

说明书

本发明公开一种基于部分可观测迁移强化学习的自动驾驶决策方法及系统，使用情景相关的方案重用方法，通过迁移驾驶方案数据库中的现有方案来辅助解决陌生路况下的行车问题。为了达到较好的乘坐体验，使用强化学习来解决自动驾驶领域中的决策问题。系统包括情景单元、感知单元、决策单元、动作规划单元和控制单元。通过向虚拟环境数据库添加新的环境模型以应对日渐复杂的行车情景；通过在神经网络中添加卷积层来识别车辆周围的障碍物；通过在神经网络中添加长短时记忆单元来记忆重要的历史信息；通过使用基于玻尔兹曼软最大化的加权深度双Q网络算法来更准确地估计Q值；通过使用最大熵Mellowmax算法来求得各驾驶方案被选中的概率。

技术领域

本发明涉及一种基于部分可观测迁移强化学习的自动驾驶决策方法及系统，适用部分可观测的行车环境，属于汽车自动驾驶技术领域。

背景技术

自动驾驶需要解决三个问题：定位、路径规划和驾驶行为的选择。目前，“我在哪”的问题可以使用多种传感器融合技术来解决，“怎么去”的问题可以使用Dijkstra、A*、动态规划等算法来解决。然而，驾驶行为选择问题，如在城市路上如何行驶或在夜间行车怎样保证安全，仍然是当今的研究热点。

我们把汽车的行驶过程看作是一个部分可观测的马尔可夫决策过程(PartiallyObservable Markov Decision Process,POMDP)。这导致在行车过程中，车辆无法感知环境的真实状态，它只能得到真实状态的局部信息——观测。

进一步地，在真实场景下，我们还会遇到这些问题：首先，在设计一个智能体用强化学习学得与环境交互的最优策略之前，需要定义何为最优。这是通过奖励函数来体现的。设计者在设计任务时，需要根据任务执行的目的来定义奖励函数。例如，在自动驾驶任务中，奖励函数的设计需要综合安全性、舒适性、高效性等各方面因素。因此，设计一个好的奖励函数是非常困难的。

其次，模拟器中的驾驶环境与真实的驾驶环境存在着巨大的差异，导致行车策略在模拟器中的表现优异，但在真实环境中的效果较差。

最后，强化学习需要消耗大量的计算资源，且得到的策略的泛化性能有待改进。

以上这些都导致我们很难使用单纯的强化学习方法来从零开始学得健壮的、可靠的、安全的行车策略。

迁移学习可以利用先验知识来完成任务。然而，由于目标任务和源任务在动力学系统上的不同，使用单个源任务得到的先验知识并不总能完美地解决目标任务中的子问题。以自动驾驶为例，因为高速路和城市道路在车道数量、车流密度以及车速限制的不同，基于城市道路得到的行车策略在高速路上的性能可能是差强人意的。

发明内容

发明目的：针对现有技术中存在的问题与不足，本发明提供一种基于部分可观测迁移强化学习的自动驾驶决策方法及系统，在部分可观测的驾驶环境下实现了车辆安全、可靠的行驶。本发明是基于迁移学习和强化学习理论实现的，而非以基于规则的方式。迁移学习可以利用已有的驾驶方案来实现自动驾驶。与其它算法相比，基于迁移学习的自动驾驶决策系统更加高效、安全。然而，无人车在行驶过程中必然会遇到不同的路况。单一的驾驶方案可能只适合于某些场景，所以为了使驾驶决策系统更加高效、健壮，提出了基于多驾驶方案的迁移学习自动驾驶决策系统。显然，如何根据环境信息来选择驾驶方案成为该系统的难点。进一步地，如果某一驾驶方案能够使车辆在当前路况下安全、快速地行驶，则会给该方案一个高的评分(奖励)；反之，如果发生车祸，则会给一个低的评分。我们期望在整个行驶过程中得到的累计评分最大。即，需要找到某种路况到驾驶方案的映射，使得在此映射下将得到最大的累计评分。因此，使用强化学习来寻找最优映射，解决多驾驶方案迁移学习系统中何时使用何种驾驶方案的难题。