[发明专利]基于自动发现抽象动作的机器人分层强化学习初始化方法

摘要

本发明公开了一种基于自动发现抽象动作的机器人分层强化学习初始化方法，其特征在于：包括Q学习模块、创建抽象动作模块、状态‑抽象动作评估值Q(s,o)初始化模块以及分层强化学习模块，先利用Q学习模块让机器人与环境交互产生经验，然后基于这些经验使用创建抽象动作模块让机器人创建抽象动作，最后机器人通过初始化状态‑抽象动作评估值Q(s,o)初始化模块，从普通的强化学习转向分层强化学习模块进行分层强化学习，并记录学习结果。本发明通过对状态‑抽象动作评估值Q(s,o)进行初始化，使机器人采用分层强化学习方法求解复杂环境中的任务时收敛速度更快。

主权项

1.一种基于自动发现抽象动作的机器人分层强化学习初始化方法，其特征在于：包括Q学习模块、创建抽象动作模块、状态‑抽象动作评估值Q(s,o)初始化模块以及分层强化学习模块，先利用Q学习模块让机器人与环境交互产生经验，然后基于这些经验使用创建抽象动作模块让机器人创建抽象动作，最后机器人通过初始化状态‑抽象动作评估值Q(s,o)初始化模块，从普通的强化学习转向分层强化学习模块进行分层强化学习，并记录学习结果；所述创建抽象动作模块包括对原始经验轨迹去除环、计算所有状态的多样性密度值以及对子目标集合中所有的子目标创建抽象动作；所述多样性密度定义如下：  (1)，其中为目标概念的多样性密度值；表示在轨迹集合的条件下的概率，其中n是正整数，n≥1，m是正整数，m≥1，表示第i条负轨迹，其中i是正整数，i≤m，表示第j条正轨迹，其中j是正整数，j≤n；通过贝叶斯变换得到：  (2)，其中，，目标概念的概率定义为本实例与目标概念距离上的高斯分布，联立式(1)和式(2)求解得到每个状态的多样性密度值；所述状态‑抽象动作评估值初始化模块对所有的状态‑抽象动作评估值进行初始化，对于已经存在的状态‑动作评估值直接对其进行赋值，对于未赋值的状态‑抽象动作评估值则通过经验回放的方式对其进行初始化；所述经验回放的方式为：假设Q(s,o)为需要初始化的状态‑抽象动作评估值，通过在无环经验轨迹中搜索抽象动作o，得到该轨迹中抽象动作o的下一个状态‑动作对(s’,a’)的Q值以及立即奖赏，按照如下更新公式来初始化Q(s,o)：  (3)，其中表示机器人在状态处执行了抽象动作得到的奖赏，γ表示折扣因子，δ表示机器人采取了动作之后计算得到的评估值增量；  (4)，其中α表示步长参数，联立（3）式和（4）式得到状态‑抽象动作评估值的更新公式。