[发明专利]基于RBF网络的Q学习框架仿人机器人稳定控制方法

权利要求书

1.基于RBF网络的Q学习框架仿人机器人稳定控制方法，其特征在于包括如下步骤：

(1)设计基于RBF网络的Q学习框架(RBF-Q Learning)，假设Q函数接收一个状态向量s(t)和一个动作向量a(t)输入，并输出一个标量Q(t)，具体包括：

1)RBF神经网络设计

输入层：s(t)表示Q学习中Q函数在t时刻输入的状态；a(t)表示Q学习中Q函数在t时刻输入的动作；

隐层：y_i(t)为隐层RBF激活函数，使用高斯核函数作为神经元的RBF激活函数；对于第i个神经元的RBF激活函数，使用以下公式计算其输出：

其中，x是输入变量，μ_i和σ_i分别是第i个神经元的中心和标准差，k为RBF激活函数个数；

输出层：Q(t)代表Q函数输出，使用下式子进行更新，

其中，w_i为第i个神经元输出在Q函数中的权重；

2)RBF网络更新

定义Q学习误差δ_Q，如下：

δ_Q＝(1-λ)(r+γQ_max-Q(s(t),a^*,t))

其中，λ为学习因子，0≤λ≤1；γ为衰减因子0<γ<1；Q_max为迭代过程中当前Q最大值；r为立即回报值；a*表示最优的行动选择；s(t)为输入状态；误差δ_Q指示了Q函数在学习过程中的收敛程度；定义该RBF网络的学习性能指标E如下：

使用BP算法及梯度下降法，对RBF网络进行更新，对于每个神经元的输出权重w_i，有如下更新公式：

其中，为学习率，对于E(t)和w_i(t)，有：

根据链式法则，每个神经元的输出权重w_i，更新公式变为：

对于每个神经元RBF函数的中心和标准差μ_i和σ_i，有如下更新公式：

其中，α_μ和α_σ分别为RBF函数中心和标准差的学习率；

3)梯度下降法求解Q学习下一步行为

对于离散Q学习，通过遍历Q表来求解max{Q(s(t),b,t)/b∈A}，即b表示下一步最优行为，A为离散Q学习中所需要的全部动作的集合；而对于连续行为的Q函数，采用梯度下降法求解下一步行为；

对max{Q(s(t),b,t)/b∈A}可转化为极小值问题min{-Q(s(t),b,t)/b∈A}；假设当前状态为s(t)，动作向量a有m个维度，即a＝[a₁,a₂,...,a_m]；对于函数-Q(s(t),b,t)，有梯度方向：

在每一步求解迭代中，a向梯度反方向更新，有：

其中，λ_a为步长，对于梯度下降法求解max{Q(s(t),b,t)/b∈A}，有整体算法步骤如下：

①初始化参数，包括：容许误差ΔE_min、最大迭代次数k、步长λ_a及随机指定初始值a(0)，令i＝0；

②对于a(i)，利用求当前梯度方向

③使用公式更新获得a(i+1)；

④计算误差ΔE＝||a(i+1)-a(i)||，如果ΔE≤ΔE_min或i>k，则停止；否则，令i＝i+1，跳转至步骤②；

(2)设计基于RBF-Q Learning框架的在线动作调整稳定控制器；

对于机器人的前后及左右两个方向，分别设计两个稳定控制器：

1)前后方向的稳定控制

以左脚支撑阶段为例，右脚同理，针对仿人机器人前后方向的稳定控制，定义RBF-QLearning学习的状态输入为以下：

s_pitch(t)＝[θ_{hip_pitch}(t),θ_{knee_pitch}(t),θ_{ankle_pitch}(t),θ_xz(t)]

其中，θ_{hip_pitch}(t)、θ_{knee_pitch}(t)、θ_{ankle_pitch}(t)分别为t时刻仿人机器人离线基础步态中左脚髋关节俯仰舵机角度、膝关节舵机角度及踝关节舵机角度，θ_xz(t)为t时刻xz平面上的躯干-重垂线夹角；

对前后方向稳定控制主要取决于左腿髋关节俯仰舵机、膝关节舵机以及踝关节舵机，故输出行为定义为其在线调整值：

a_pitch(t)＝[Δθ_{hip_pitch}(t),Δθ_{knee_pitch}(t),Δθ_{ankle_pitch}(t)]

其中，Δθ_{hip_pitch}(t)、Δθ_{knee_pitch}(t)、Δθ_{ankle_pitch}(t)分别为当前髋关节俯仰舵机、膝关节舵机、踝关节舵机的调整角度；

对于机器人的所采取行为的评判，我们使用姿态传感器信息得到的机器人身体偏转角度计算立即回报函数；

定义前后方法强化学习稳定控制器立即回报函数为：

其中，a₁、a₂为立即回报函数权值，

其中，ε为容许误差带，θ_xz(t)和Δθ_xz(t)分别为t时刻xz平面上的躯干-重垂线夹角及其角速度；立即回报函数意在将θ_xz(t)控制在容许误差带内，同时其变化率Δθ_xz(t)尽量小；

2)左右方向的稳定控制

针对仿人机器人前后方向的稳定控制，同样，定义RBF-Q Learning学习的状态输入为以下：

s_roll(t)＝[θ_{hip_roll}(t),θ_{ankle_roll}(t),θ_yz(t)]

其中，θ_{hip_roll}(t)和θ_{ankle_roll}(t)分别为t时刻仿人机器人离线基础步态中左脚髋关节滚动舵机、踝关节滚动舵机的角度，θ_yz(t)为t时刻yz平面上的躯干-重垂线夹角；

由于，对左右方向稳定控制则主要取决于左腿髋关节滚动舵机、踝关节滚动舵机决定，故输出行为定义为：

a_roll(t)＝[Δθ_{hip_roll}(t),Δθ_{ankle_roll}(t)]

其中，Δθ_{hip_roll}(t)和Δθ_{ankle_roll}(t)分别为髋关节滚动舵机、踝关节滚动舵机的调整角度；

考虑使用z平面上的躯干-重垂线夹角及其角速度评价左右方向上的稳定性，定义左右方法强化学习稳定控制器立即回报函数为：

其中，a₁、a₂为立即回报函数权值，

其中，ε为容许误差带，θ_yz(t)和Δθ_yz(t)分别为t时刻yz平面上的躯干-重垂线夹角及其角速度；立即回报函数意在将θ_yz(t)控制在容许误差带内，同时其变化率Δθ_yz(t)尽量小。