[发明专利]一种多机器人协同导航与避障的方法

权利要求书

1.一种多机器人协同导航与避障的方法，具有多个用于系统工作的机器人，其特征在于，所方法包括

基于部分可观察马尔科夫决策过程，建立了对未知环境的决策过程模型；

根据移动机器人动作空间为连续值的特点，设计深度确定性策略梯度算法的算法网络，在输入端加入卷积层，提取图像的深层特征输入到算法网络中；具有优先经验回放机制；

利用长短时记忆网络，记忆环境信息，通过跳帧机制避免机器人快速移动导致的视觉图像运动模糊；

根据长短时记忆网络具有时序记忆性，利用随机更新策略，使网络学习有前后关联的样本；还包括采用跳跃更新的策略，且只采用轨迹后半部分的损失值进行梯度更新。

2.根据权利要求1所述的多机器人协同导航与避障的方法，其特征在于，部分可观察马尔可夫决策过程根据环境部分观察信息来推断机器人状态的分布，用一个六元组进行描述(S,A,T,R,Z,O)，其中S表示环境部分可观测的状态空间，A表示动作空间，T:S×A→π(S)表示状态转移函数，R:S×A→π(S)表示奖励函数，Z表示观测值集合，O:S×A→π(Z)是根据状态和所做动作给出的观测函数。

3.根据权利要求1所述的多机器人协同导航与避障的方法，其特征在于，通过获取机器人的摄像头数据S_image以及目的地相对于机器人当前位置的距离和方向角信息S_target，作为机器人每一步观测到的数据，作为机器人的状态空间：

S＝(S_image,S_target)

其中，S_image是机器人从摄像头数据中提取出的信息，用于训练避障；S_target＝(ρ,θ)，ρ表示机器人与目的地之间的距离，表达式为其中target.x和target.y分别代表目的地位置的横坐标与纵坐标，robot.x和robot.y分别代表机器人位置的横坐标与纵坐标；θ表示目的地与机器人的距离和方向角，表达式为用于训练导航；目的地位置在每次导航任务重新初始化时随机选取。

4.根据权利要求1所述的多机器人协同导航与避障的方法，其特征在于，通过设置机器人的线速度和角速度，初始化机器人的动作空间：

A＝(a_linear,a_angular)

其中，a_linear是机器人的线速度，a_angular是机器人的角速度，可在取值范围内连续变化。

5.根据权利要求1所述的多机器人协同导航与避障的方法，其特征在于，通过设置机器人在不同情况下的奖励函数，分别对应发生碰撞、到达目的地、其他情况，其中其他情况由三部分组成：目的地与机器人的距离、机器人朝向与到目的地的方位角的差距、循环转圈，对好的情况设置奖励，坏的情况设置惩罚，使机器人学会正确的行驶方式，表达式为：

其中，r_c是发生碰撞时给予的惩罚，r_g是到达目的地时给予的奖励，r_d是机器人与目的地距离的负值，表达式为：

r_d＝-ρ

r_y是机器人的朝向yaw与机器人与目的地的方位角θ的差，表达式为：

r_y＝yaw-θ

r_l表示过去50次运动中，如果有95％的运动都朝同一方向移动，则判定为机器人在转圈，此时需要给机器人一个惩罚，以避免循环转圈，表达式为：

r_l＝-100,if loop。