[发明专利]一种基于强化学习的多组机器人协作控制方法及控制系统

权利要求书

1.一种基于强化学习的多组机器人协作控制方法，其特征在于，包括如下步骤：

步骤1，对机器人所处环境进行栅格化处理得到环境栅格，使得通道信息转化为有限状态集合，由各组机器人根据有限状态集合对所处环境进行强化学习生成状态动作表；

步骤2，组内各个机器人彼此共享强化学习结果；

步骤3，组间机器人相遇时进行避让控制，并分享各自组内的状态动作表，确定当前状态下机器人选择的动作，从而进一步生成全环境状态动作集合；

步骤4，利用生成的全环境状态动作集合来对各组机器人进行协作控制。

2.根据权利要求1所述的基于强化学习的多组机器人协作控制方法，其特征在于，步骤1中，各组机器人根据有限状态集合对所处环境进行强化学习生成状态动作表的具体步骤为：

步骤1.1，根据有限状态集合在Matlab中构建机器人导航模型；

步骤1.2，利用策略值函数来描述导航过程的预期收益为：

Q^π(s_t,a_t)＝E[R_t|s_t,a_t] (1)

式(1)中，R_t为时刻t获得的折扣后的未来收益总和，π为避障的目标策略，由于避障的目标策略π是预设确定的，记为函数μ:S←A，S为状态空间，A为动作空间，s_t为状态空间S中的参数，a_t为动作空间A中的参数，再利用贝尔曼方程对式(1)进行处理得到：

Q^*(s_t,a_t)＝E[r(s_t,a_t)+γmaxQ^*(s_t+1,a'_t+1)] (2)

式(2)中，γ∈[0,1]为折扣因子，r(s_t,a_t)表示t时刻从环境获得的回报值，maxQ^*(s_t+1,a'_t+1)表示机器人下一个状态所采取动作的最大回报值；

步骤1.3，建立贝尔曼方程逼近的强化学习单步算法为：

式(3)中，r_t+1是机器人在状态s_t+1采取动作a_t+1的瞬时回报值，γ∈[0,1]为折扣因子，为学习率；

步骤1.4，根据构建的机器人导航模型并利用建立的强化学习单步算法获得机器人导航模型中各个状态下的各个动作，再根据回报值对各个状态下的各个动作进行优选排序，从而便于机器人确定下一步所要采取的动作，以各个状态及其优选排序的动作对应生成状态动作表。

3.根据权利要求1所述的基于强化学习的多组机器人协作控制方法，其特征在于，步骤2中，组内机器人采用值函数迁移的方式完成组内彼此共享强化学习结果。

4.根据权利要求1所述的基于强化学习的多组机器人协作控制方法，其特征在于，步骤3中，组间机器人相遇时进行避让控制的具体步骤为：

步骤3.1，当分属于两组的两个机器人相遇且导航路径冲突时，两个机器人根据状态动作表分别选择优选方案和次选方案进行避让；

步骤3.2，制定动作交互函数对机器人原有动作进行定义，动作交互函数为：

式(4)中，(i,j)表示机器人在环境中的对应坐标，i,j＝1,2,3…，k表示对应的动作，k＝0,1,2,3,4，k＝0表示静止，k＝1表示前进，k＝2表示后退，k＝3表示左移，k＝4表示右移，由移动方向得到相对应的Q值；

步骤3.3，根据动作交互函数对相遇且导航路径冲突的两个机器人进行避让动作控制。