[发明专利]一种机器人控制方法及设备

权利要求书

1.一种机器人控制方法，其特征在于，所述方法包括：

获取所述机器人的当前状态和至少两个待执行动作及其对应的权重，其中，所述当前状态包括当前环境和奖励信息，并基于所述当前状态和至少两个待执行动作及其对应的权重，确定奖励预测误差信号，所述奖励预测误差信号由如下公式计算得到：

其中，R_t为表示机器人在与环境实时交互的t时刻获得的奖励信息；γ为折扣因子；Q(s,a)为强化学习中的当前状态s下选择执行待执行动作a的期望值；s_t表示t时刻对应的所述机器人的状态；i为待执行动作的编号，取值范围为i＝1，2，……，n；a_i为编号为i的待执行动作；A为所有待执行动作a_i的集合；

基于所述奖励预测误差信号，通过前扣带回皮层神经调节机制对探索速度进行调节，得到与所述当前状态对应的所述探索速度，包括：基于所述奖励预测误差信号，通过所述前扣带回皮层神经调节机制确定正确神经元响应值和错误神经元响应值；获取正确神经元响应更新率以及错误神经元响应更新率，利用所述当前状态对应的所述正确神经元响应值和所述错误神经元响应值以及所述正确神经元响应更新率和所述错误神经元响应值更新率计算得到所述当前状态对应的警觉值；通过所述警觉值对所述探索速度进行调节，得到与所述当前状态对应的所述探索速度；

基于所述探索速度、所有所述待执行动作及其对应的权重从所有所述待执行动作中确定最优待执行动作并执行，包括：

基于所述探索速度、所有所述待执行动作及其对应的权重进行方程转化得到与所述当前状态对应的每个所述待执行动作的执行概率；

基于每个所述待执行动作的执行概率确定所述最优待执行动作并执行，包括：基于每个所述待执行动作的执行概率，得到所有所述待执行动作的执行概率的相似度；若所有所述待执行动作的执行概率的相似度大于相似度阈值，则从所有所述待执行动作中随机选出一个所述待执行动作作为所述最优待执行动作并执行；若所有所述待执行动作的执行概率的相似度小于等于所述相似度阈值，则将所有所述待执行动作中执行概率最大的所述待执行动作作为所述最优待执行动作并执行。

2.根据权利要求1所述的方法，其中，所述方法还包括：

获取执行所述最优待执行动作后的更新状态；

基于所述更新状态对所述待执行动作对应的权重进行更新。

3.根据权利要求2所述的方法，其特征在于，基于所述更新状态对所述待执行动作及其对应的权重进行更新，包括：

基于所述更新状态判断执行所述最优待执行动作后是否发生碰撞；

若未发生碰撞，则基于所述当前状态、所述最优待执行动作以及所述更新状态对所述待执行动作及其对应的权重进行更新，得到更新后的待执行动作对应的权重。

4.一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行时，使所述处理器实现如权利要求1至3中任一项所述的方法。

5.一种机器人控制设备，其特征在于，该设备包括：

一个或多个处理器；

计算机可读介质，用于存储一个或多个计算机可读指令，

当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至3中任一项所述的方法。