[发明专利]用于借助于强化学习来训练控制策略的设备和方法

说明书

描述了借助于强化学习来训练控制策略的方法，其具有：执行多次强化学习训练遍历，在每次遍历中，针对代理的状态序列的每个状态从控制遍历的初始状态开始选择所要执行的行动，针对至少有些状态，通过指定计划范围来选择行动，该计划范围指定了状态数目；通过将回答集编程求解器应用于回答集编程程序，确定具有指定的状态数目的从相应状态出发可到达的状态的多个序列，该回答集编程程序对行动与通过这些行动所到达的后续状态之间的关系进行建模；选择在这些序列中提供最大回报的序列，其中由所确定的序列提供的回报是在到达该序列的状态时所获得的奖励的总和；并选择可用来从相应状态出发到达所选序列的第一状态的行动，作为针对相应状态的行动。

技术领域

总的来说，各种实施例涉及一种用于借助于强化学习来训练控制策略的设备和方法。

背景技术

用于像机器人那样的机器的控制设备可以通过所谓的增强学习、英文Reinforcement Learning（RL）来被训练，用于实施特定任务、例如在生产过程中实施特定任务。对任务的实施通常包括选择针对状态序列的每个状态的行动，也就是说可以被视为顺序决策问题。根据通过所选择的行动来到达的状态、尤其是最终状态，这些行动都得到一定回报（英文return），该回报例如根据该行动是否允许到达对其来说给予奖励（例如对于实现该任务的目标来说）的最终状态而得出。

强化学习使代理（例如机器人）能够从经验中学习，其方式是该代理将它的行为调整为使得它随时间所获得的回报最大化。存在简单的基于试错的RL方法，其中该代理不需要关于控制场景的知识，而且如果给其足够的时间，则确保收敛到最优控制策略（英文policy）。然而，在实践中，收敛到最优控制策略可能非常缓慢。在难以找到奖励的控制场景中情况尤其如此。

值得期望的是高效的方法，这些方法能够通过使用关于控制场景的先验知识、例如通过形成模型、例如关于环境的行为的模型来加快学习过程。

发明内容

按照各种实施方式，提供了一种用于借助于强化学习来训练控制策略的方法，该方法具有：执行多次强化学习训练遍历，其中在每次强化学习训练遍历中，针对代理的状态序列的每个状态从控制遍历的初始状态开始选择所要执行的行动，其中针对这些状态中的至少有些状态，通过指定计划范围（Planungshorizont）来选择相应的行动，该计划范围指定了状态数目；通过将回答集编程求解器应用于回答集编程程序，确定具有指定的状态数目的从相应的状态出发可到达的状态的多个序列，该回答集编程程序对行动与通过这些行动所到达的后续状态之间的关系进行建模；从所确定的序列中，选择在这些所确定的序列中提供最大回报的序列，其中由所确定的序列提供的回报是在到达该序列的状态时所获得的奖励的总和；并且选择可用来从相应的状态出发到达所选择的序列的第一状态的行动，作为针对该相应的状态的行动。

按照另一实施例，提供了一种控制设备，该控制设备被设立为实施上述方法或按照上述方法所训练的控制策略来控制机器人装置。

与没有计划组件的RL方法相比，上述方法和控制设备能够实现：即使计划范围仅相对小（例如仅指定了指定数目少的状态，例如2到10个之间的状态），也显著提高训练的速度。由此，RL方法可以尤其在实践中使用，例如在其中机器人装置在运行时必须学习（例如在与不断变化的条件、诸如地形的实时适配的情况下）的场景中使用。由于计划范围的限制，不需要计划组件（由回答集编程求解器实现）找到最终状态（也就是说训练遍历结束的状态），这对于有些控制场景来说也难以实现或者无法实现。相反，重复（在训练遍历期间多次）使用具有比较小的计划范围（例如至少对于该训练遍历的初始状态来说不足以到达最终状态的计划范围）的计划组件，直至最终到达最终状态为止。