[发明专利]一种用于在稀疏奖励信号下学习多机器人编队导航策略的课程学习方法

说明书

本发明属于机器人中的多移动机器人技术领域，更具体地，涉及一种用于在稀疏奖励信号下学习多机器人编队导航策略的课程学习方法。当奖励信号稀疏时，基于深度强化学习的多机器人编队导航方法难以通过试错的方式学习出有效的导航策略。为了让多机器人编队在奖励信号稀疏的情况下依然能够学习出导航策略，本发明提出了一种基于融合相对表现和绝对表现的课程学习方法；该方法首先依据起始点到目标点的距离对场景进行分类，然后基于多机器人编队在不同类型场景中的相对表现和绝对表现来安排接下来要进行交互的场景类型。通过本发明所提出的课程学习方法，多机器人编队能够在奖励信号稀疏的情况下学习出有效的导航策略。

技术领域

本发明属于机器人中的多移动机器人技术领域，更具体地，涉及一种用于在稀疏奖励信号下学习多机器人编队导航策略的课程学习方法。

背景技术

多机器人编队具有广泛的应用前景，比如说大规模搜救、测绘、农业植保等。当多机器人编队进行作业时，需要依赖多机器人编队导航来完成多机器人编队的运动。

专利CN2019103948935，公开了一种基于深度强化学习的端到端分布式多机器人编队导航方法，基于深度强化学习的多机器人编队导航方法能够通过试错的方式求解出优秀的导航策略，具有所需人工干预较少的特性。除此以外，所求解出的导航策略是端到端的导航策略，能够直接将原始感知信息映射到机器人的控制指令，而无须构建障碍物地图，因此具有较低的计算复杂度。然而，基于深度强化学习的多机器人编队导航方法依赖于稠密的奖励信号，也就是说要求环境对于机器人编队的每一个行为都有即时的反馈。但稠密的奖励信号往往需要利用专家知识进行奖励信号工程才能得到，是一个费时费力的工作。相比于稠密的奖励信号，稀疏的奖励信号具有所需专家知识较少的优势，可以比较容易地得到。然而，在稀疏奖励信号下，多机器人编队难以通过一般的基于深度强化学习的方法学习出有效的导航策略。

发明内容

本发明为克服上述现有技术中的缺陷，提供一种用于在稀疏奖励信号下学习多机器人编队导航策略的课程学习方法，提出了一种基于融合相对表现和绝对表现的课程学习方法；通过使用该方法，多机器人编队能够在稀疏奖励信号下学习出有效的导航策略。

为解决上述技术问题，本发明采用的技术方案是：一种用于在稀疏奖励信号下学习多机器人编队导航策略的课程学习方法，其中，使用基于融合相对表现和绝对表现的课程学习来让多机器人编队在稀疏奖励信号的情况下仍然能够学习出有效的导航策略；所述的基于融合相对表现和绝对表现的课程学习，即随着训练的进行，逐渐从基于相对表现的课程学习转换为基于绝对表现的课程学习，通过这种方式，在训练的前期通过基于相对表现的课程学习快速掌握基本的导航策略，在训练的后期通过基于绝对表现的课程学习来攻克复杂的导航策略。

当奖励信号稀疏时，基于深度强化学习的多机器人编队导航方法难以通过试错的方式学习出有效的导航策略。为了让多机器人编队在奖励信号稀疏的情况下依然能够学习出导航策略，本发明提出了一种基于融合相对表现和绝对表现的课程学习方法；该方法首先依据起始点到目标点的距离对场景进行分类，然后基于多机器人编队在不同类型场景中的相对表现和绝对表现来安排接下来要进行交互的场景类型。通过本发明所提出的课程学习方法，多机器人编队能够在奖励信号稀疏的情况下学习出有效的导航策略。本发明相比于一般的基于深度强化学习的多机器人编队导航方法，本发明在训练的过程中不仅会对多机器人编队的导航策略进行更新，而且会对环境端进行调整，通过课程更新来让环境端选择适合多机器人编队进行交互的场景。

进一步的，所述的课程学习包括课程设计和课程安排，所述的课程设计是对不同场景进行划分以此得到不同的课程，所述的课程安排是根据机器人编队的表现来安排接下来机器人编队进行交互的场景。

进一步的，所述的课程设计，根据机器人编队起始点到目标点的距离对不同场景进行分类，并且通过离散化和均匀采样相结合的方法来处理距离这一连续变量。