[发明专利]支持运输工具或机器人的机动动作规划的方法和设备

说明书

本发明涉及支持自动驾驶运输工具（50）或机器人的机动动作规划（33）的方法，其中借助马尔可夫决策问题以离散形式描述运输工具（50）或机器人的环境的状态空间（10），借助动态编程从状态空间（10）中的离散状态（11）出发确定离散动作（A_t）的最佳动作值（Qx），借助强化学习方法学习具有状态空间（10）中的状态（11）作为输入值并具有状态空间（10）中的动作（A_t）的动作值（Qx）作为输出值的映射（20），基于借助动态编程确定的最佳动作值（Qx）初始化强化学习代理，并针对机动动作规划（33）提供学习的映射（20）。本发明还涉及支持自动驾驶运输工具（50）或机器人的机动动作规划（33）的设备（1）。

技术领域

本发明涉及用于支持自动驾驶运输工具或机器人的机动动作规划的方法和设备。

背景技术

在自动驾驶运输工具中，除了轨迹规划、也就是提供在当前状况下要具体驶过的轨迹之外，在机动动作规划的范畴内需要进行战术性（taktisch）机动动作规划，以便实现上级的（übergeordnet）策略。对此的具体示例是具有多个车道和许多其他交通参与者的转弯状况。于是必须决定运输工具何时必须在哪个行车道上，以便例如对于乘客来说尽可能舒适地和/或尽可能时间优化地执行转弯过程，以及为此必须超越哪些其他交通参与者。对于自动操作的机器人来说，原则上也会产生相同的问题。

已知如下强化学习方法（Reinforcement-Learning-Verfahren），借助于所述强化学习方法可以学习（anlernen）其他交通参与者的行为并基于此做出最佳决策。在此，学习在状态和与此对应的关于目标设定方面的最佳动作之间的映射（英语：mapping），其中该目标设定通过奖励值（英语：reward）来表达。换句话说，强化学习代理必须全面尝试找到使得所述奖励值最大化的动作。为了找到最佳解决方案，强化学习代理必须彻底检查环境，以确保不会忽略最佳解决方案。另一方面，所述代理可以利用已经在较早时间点经历过的状况，在这些状况下，所述代理已经找到了具有相应高奖励值的良好解决方案。

此外，马尔可夫（Markow）决策问题和动态编程方法也是已知的。

发明内容

本发明所基于的任务是提供用于支持自动驾驶运输工具或机器人的机动动作规划的方法和设备。

根据本发明，该任务通过具有本发明的特征的方法和具有本发明的特征的设备来解决。本发明的有利的设计从下文中得出。

特别地，提供了一种用于支持自动驾驶运输工具或机器人的机动动作规划的方法，其中借助马尔可夫决策问题以离散形式描述所述运输工具或所述机器人的环境的状态空间，其中借助动态编程从所述状态空间中的离散状态出发确定针对离散动作的最佳动作值，其中借助强化学习方法来学习如下映射（Abbildung），所述映射具有所述状态空间中的状态作为输入值并具有所述状态空间中的针对动作的动作值作为输出值，其中在此情况下基于借助动态编程确定的最佳动作值对强化学习代理进行初始化，以及其中针对机动动作规划提供所学习的映射。

此外，特别是创建了一种用于支持自动驾驶运输工具或机器人的机动动作规划的设备，该设备包括数据处理装置，其中所述数据处理装置被设立用于，借助马尔可夫决策问题描述所述运输工具或所述机器人的环境的离散状态空间，借助动态编程从所述状态空间中的离散状态出发确定针对离散动作的最佳动作值，为了学习如下映射而使用强化学习方法，其中所述映射具有所述状态空间中的状态作为输入值并具有所述状态空间中的针对动作的动作值作为输出值，并且在此情况下基于借助动态编程确定的最佳动作值对强化学习代理进行初始化，以及针对机动动作规划提供所学习的映射。