[发明专利]一种基于强化学习的时序逻辑任务规划方法

权利要求书

1.一种基于强化学习的时序逻辑任务规划方法，其特征在于，包括：

步骤1、采用线性时序逻辑语言给定任务，并转换成Büchi自动机利用有限状态转移系统FTS将环境建模为多元组T_c；利用和T_c产生生成式Büchi自动机A_p；

所述生成式Büchi自动机A_p由六元组组成：A_p＝(Q',δ',Q₀',F',W_p,D')

其中，Q'是生成式Büchi自动机中的组合状态的集合，组合状态是生成式Büchi自动机状态图中的顶点，它是Büchi自动机状态与FTS中栅格区域的组合；s＝π,q表示组合状态；π为FTS中的栅格区域，q为Büchi自动机中的状态；

δ'是生成式Büchi自动机中的状态转换关系，是生成式Büchi自动机状态图中的边；当且仅当顶点之间的转换关系满足FTS所表达的地理约束和NBA所表达的任务约束，才将这两个顶点之间的边连通；

Q₀'表示智能体初始状态；

F'是由所有可接受状态组成的可接受状态集；

W_p表示代价函数，直接采用FTS中栅格之间的路径长度；

D'表示死区状态的集合；死区状态定义为：当执行到这个状态时，违背了给定任务，无法继续执行；

步骤2、利用Q-Learning方法对生成式Büchi自动机A_p进行任务规划训练；在迭代训练训练过程中，当组合状态进入可接受状态F'或者死区状态D'时，结束本轮迭代，跳转进入下一次迭代过程；同时，更新状态-动作值所使用的奖励函数包含当组合状态进入可接受状态F'或者死区状态D'时给予奖励值或者惩罚值的设定。

2.如权利要求1所述的一种基于强化学习的时序逻辑任务规划方法，其特征在于，所述步骤2包括：

步骤201、定义组合状态s所对应栅格区域π的动作空间为a(s)，动作空间中的执行动作记为a，a∈a(s)；定义在组合状态s下执行动作a的状态-动作值为W(s,a)；在组合状态s应该执行的动作记为X(s)，定义为组合状态s对应的动作空间a(s)中令状态-动作值最大的动作；初始化W(s,a)＝0；

步骤202、初始化当前组合状态变量S＝π₀,q₀，π₀表示智能体初始位置，q₀表示任务初始状态；

步骤203、以概率ε在当前组合状态S对应的动作空间a(S)随机选取动作，以概率1-ε在动作空间a(S)选取状态-动作值W(S,a)最大的动作；根据状态转换关系δ'，确定执行所选取动作后即将跳转到的下一个组合状态为s'；确定跳转到组合状态s'所带来的奖惩值r(s')；

步骤204、将组合状态s'应该执行的动作X(s')，赋值给动作变量a'；

步骤205、更新当前组合状态S的状态-动作值W(S,a)：更新为W(S,a)+α[r(s')+γW(s',a')-W(S,a)]；其中，α,γ∈(0,1)为设定的超变量；r(s')为利用奖励函数确定的、从当前组合状态S跳转到状态S所带来的奖惩值；W(s',a')为组合状态s’执行组合动作a'的状态-动作值；

步骤206、更新X(S)：在当前组合状态S对应的动作空间a(S)中找到令状态-动作值最大的动作，更新当前组合状态S应该执行的动作X(S)；

步骤207、跳转到步骤203所确定的下一个组合状态s'，令当前组合状态S＝s'；

步骤208、如果跳转后的当前组合状态S属于F'或D'，则进入步骤209，否则，返回203；

步骤209、令迭代次数t自加1，如果迭代次数未达到设定次数，则返回步骤202，否则，结束训练，得到最终的动作规划策略X(s)。

3.如权利要求1或2所述的方法，其特征在于，所述奖励函数为：

当组合状态s'属于可接受状态集F'时，表明该任务完成，给予设定的正奖励值+K；

当组合状态s'属于死区状态的集合D'时，表明该动作违背任务，给予设定的负的惩罚值-K'；

当组合状态s'处于其余状态时，表明正在执行任务，给予与移动距离成正比的负的惩罚值，正比比例β的取值范围为0β1。