[发明专利]一种基于模型不确定性估计的机械臂强化学习控制方法

说明书

一种基于模型不确定性估计的机械臂强化学习控制方法，涉及机械臂控制技术领域，考虑到机械臂在建模时存在的不确定性因素，通过不确定性估计来构建机械臂的动力学模型。然后再利用基于机械臂不确定性估计模型的强化学习Dyna‑Q算法，通过与模型的交互产生的数据更新状态模型和奖励函数模型，从模型中获得大量虚拟数据，再利用真实数据与虚拟数据更新价值函数，从而能够高效的产生和利用经验，提高采样效率，选择最佳动作使得机械臂在执行任务中能够获得更优的策略。

技术领域

本发明涉及机械臂控制技术领域，具体涉及一种基于模型不确定性估计的机械臂强化学习控制方法。

背景技术

传统的机械臂控制方法通常使用预先建立的动力学模型和控制器进行控制，但是这些方法忽略了模型不确定性带来的影响。随着对机械臂性能要求的日益提高，机械臂的模型存在很大的不确定性，如控制系统中通常存在未知的干扰和不确定性，包括建模误差、外部干扰和测量误差等，这些不确定性都可能会导致系统控制性能下降甚至失效。因此，需要考虑机械臂在建模中一切存在的不确定性因素，这样才能保证机械臂执行任务时的稳定性和精确性。

强化学习中Model-free(不基于模型)的算法不依赖于对环境的建模，而是直接利用与环境交互得到的经验来学习策略。在面对复杂的任务时Model-free方法可能需要大量的训练样本，学习过程的时间较长，数据采样效率低。因此，利用Model-free算法对机械臂进行控制通常需要从大量的试错中学习策略，对数据的需求比较大，可能需要大量的实验来获得足够的数据。

发明内容

本发明为了克服以上技术的不足，提供了一种提高机械臂控制的稳定性和精度的基于模型不确定性估计的机械臂强化学习控制方法。

本发明克服其技术问题所采用的技术方案是：

一种基于模型不确定性估计的机械臂强化学习控制方法，包括：

a)建立不确定性估计的机械臂动力学模型其中为融合不确定性的机械臂的关节力矩，τ为机械臂的动力学模型的机械臂的关节力矩，δ为机械臂理论位置和实际位置的误差；

b)初始化得到机械臂状态模型P(s,a)，其中s为不确定性估计的机械臂动力学模型中机械臂的当前位置状态，a为将融合不确定性的机械臂的关节力矩输入到机械臂的对应的关节的驱动器中，得到的机械臂要执行的动作；

c)通过奖励函数r初始化得到奖励函数模型R(s,a)；

d)初始化机械臂的当前位置状态s采取机械臂要执行的动作a的价值函数Q(s,a)；

e)根据机械臂当前位置状态s利用贪婪策略选择机械臂要执行的动作a；

f)将步骤e)中机械臂要执行的动作a输入到奖励函数模型R(s,a)中，得到奖励函数r，将步骤e)中机械臂要执行的动作a输入到机械臂状态模型P(s,a)中，得到机械臂下一个状态s′，根据动作a和机械臂下一个状态s′得到新的状态模型

g)根据步骤f)中的机械臂要执行的动作a、机械臂的当前位置状态s、奖励函数r、机械臂下一个状态s′计算得到更新的价值函数Q′(s,a)；

h)根据步骤f)中的机械臂要执行的动作a、机械臂的当前位置状态s、奖励函数r计算得到新的奖励函数模型i)随机选择一个机械臂的当前位置状态s，在该当前位置状态s出现过的动作中随机选取一个动作a，将该动作a输入到新的状态模型中，得到机械臂下一个状态s″，将该动作a输入到新的奖励函数模型中，得到奖励函数r；

j)利用步骤i)中的机械臂的当前位置状态s、根据动作a和机械臂下一个状态s″计算得到更新的价值函数Q″(s,a)；

k)重复执行步骤i)至步骤j)N次，得到最后更新的价值函数Q″(s,a)；