[发明专利]用于借助于强化学习来训练控制策略的设备和方法

权利要求书

1.一种用于借助于强化学习来训练控制策略的方法，所述方法具有：

执行多次强化学习训练遍历，其中在每次强化学习训练遍历中，针对代理的状态序列的每个状态从控制遍历的初始状态开始选择所要执行的行动，其中针对所述状态中的至少有些状态，通过指定计划范围来选择相应的行动，所述计划范围指定了状态数目；

通过将回答集编程求解器应用于回答集编程程序，确定具有指定的状态数目的从相应的状态出发可到达的状态的多个序列，所述回答集编程程序对行动与通过所述行动所到达的后续状态之间的关系进行建模；

从所确定的序列中，选择在所述所确定的序列中提供最大回报的序列，其中由所确定的序列提供的回报是在到达所述序列的状态时所获得的奖励的总和；而且

选择能用来从相应的状态出发到达所选择的序列的第一状态的行动，作为针对所述相应的状态的行动。

2.根据权利要求1所述的方法，其中针对在强化学习训练遍历中所到达的状态，检查所述状态在所述多次强化学习训练遍历中是否是第一次到达的，而且如果所述状态在所述多次强化学习训练遍历中是第一次到达的，则通过确定所述多个序列、选择在所述所确定的序列中提供最大回报的序列并且选择能用来从所述状态出发到达所选择的序列的第一状态的行动来确定所述行动。

3.根据权利要求2所述的方法，其中针对在所述多次强化学习训练遍历中已经到达的状态，按照到目前为止经训练的控制策略或者随机选择所述行动。

4.根据权利要求1至3中任一项所述的方法，其中针对所述状态中的至少有些状态，通过指定第一计划范围来选择相应的行动，所述第一计划范围指定了第一数目的状态；

通过将回答集编程求解器应用于回答集编程程序，确定具有所述第一数目的状态的从所述状态出发可到达的状态的多个序列，所述回答集编程程序对行动与通过所述行动所到达的后续状态之间的关系进行建模；

而且如果筹措到指定的供支配的计算预算用来确定针对相应的状态的行动，则从具有所述第一数目的状态的所确定的序列中选择在所述所确定的序列中提供最大回报的序列，并且选择能用来从所述相应的状态出发到达所选择的序列的第一状态的行动，作为针对所述相应的状态的行动；

而且如果尚未筹措到指定的供支配的计算预算用来确定针对所述相应的状态的行动，则

指定第二计划范围，所述第二计划范围指定了第二数目的状态，其中状态的第二数目大于状态的第一数目，

通过将所述回答集编程求解器应用于回答集编程程序，确定具有所述第二数目的状态的从所述状态出发可到达的状态的多个序列，所述回答集编程程序对行动与通过所述行动所到达的后续状态之间的关系进行建模，

从具有所述第二数目的状态的所确定的序列中选择在所述所确定的序列中提供最大回报的序列，并且

选择能用来从所述相应的状态出发到达所选择的序列的第一状态的行动，作为针对所述相应的状态的行动。

5.根据权利要求1至4中任一项所述的方法，其中所述回答集编程求解器支持多重求解，而且其中借助于所述回答集编程求解器通过多重求解来为在强化学习训练遍历中连续的状态确定所述多个序列。

6.一种控制方法，所述控制方法具有：基于根据权利要求1至5中任一项所训练的控制策略来控制机器人装置。

7.一种控制设备，所述控制设备被设立为实施根据权利要求1至6中任一项所述的方法。

8.一种计算机程序，其具有程序指令，当所述程序指令由一个或多个处理器来实施时，所述程序指令使所述一个或多个处理器执行根据权利要求1至6中任一项所述的方法。

9.一种计算机可读存储介质，在其上存储有程序指令，当所述程序指令由一个或多个处理器来实施时，所述程序指令使所述一个或多个处理器执行根据权利要求1至6中任一项所述的方法。