[发明专利]一种基于强化学习的时序逻辑任务规划方法

摘要

本发明提出了一种基于强化学习的时序逻辑任务规划方法。首先使用线性时序逻辑语言和非确定性Büchi自动机对任务进行建模，并使用有限状态转移系统FTS对环境进行描述，然后利用FTS和Büchi自动机产生生成式Büchi自动机；利用Q‑Learning方法对生成式Büchi自动机进行任务规划训练；在迭代训练训练过程中，当组合状态进入可接受状态或者死区状态时，结束本轮迭代，跳转进入下一次迭代过程；同时，更新状态‑动作值所使用的奖励函数包含当组合状态进入可接受状态或者死区状态时给予奖励值或者惩罚值的设定。本发明能够有效、安全、高速的对时序逻辑任务进行任务规划。

主权项

1.一种基于强化学习的时序逻辑任务规划方法，其特征在于，包括：步骤1、采用线性时序逻辑语言给定任务，并转换成自动机利用有限状态转移系统FTS将环境建模为多元组T_c；利用和T_c产生生成式自动机A_p；所述生成式自动机A_p由六元组组成：A_p＝(Q',δ',Q₀',F',W_p,D')其中，Q'是生成式自动机中的组合状态的集合，组合状态是生成式自动机状态图中的顶点，它是自动机状态与FTS中栅格区域的组合；s＝<π,q>表示组合状态；π为FTS中的栅格区域，q为自动机中的状态；δ'是生成式自动机中的状态转换关系，是生成式自动机状态图中的边；当且仅当顶点之间的转换关系满足FTS所表达的地理约束和NBA所表达的任务约束，才将这两个顶点之间的边连通；Q₀'表示智能体初始状态；F'是由所有可接受状态组成的可接受状态集；W_p表示代价函数，直接采用FTS中栅格之间的路径长度；D'表示死区状态的集合；死区状态定义为：当执行到这个状态时，违背了给定任务，无法继续执行；步骤2、利用Q‑Learning方法对生成式自动机A_p进行任务规划训练；在迭代训练训练过程中，当组合状态进入可接受状态F'或者死区状态D'时，结束本轮迭代，跳转进入下一次迭代过程；同时，更新状态‑动作值所使用的奖励函数包含当组合状态进入可接受状态F'或者死区状态D'时给予奖励值或者惩罚值的设定。