[发明专利]一种基于深度强化学习的机器人追逃博弈方法

说明书

本发明公开了一种基于深度强化学习的机器人追逃博弈方法，包括：确定追逃双方智能体在含障碍物的追逃博弈场景中的约束条件；分别构建追逃双方智能体的回报函数；引入深度Q网络算法，并结合约束条件和回报函数，分别构建追逃双方智能体的初始追逃博弈模型；结合课程学习机制和自我对弈机制分别对追逃双方智能体的初始追逃博弈模型进行训练，并利用训练过程中的交互数据不断对追逃双方智能体的深度Q网络进行更新，得到追逃双方智能体的最终追逃博弈模型。本发明基于DQN的动作空间离散的追逃博弈算法，并结合自我对弈和课程学习的机制同时训练追捕者和逃跑者智能体，很大程度上优化了追捕者和逃跑者的输出策略。

技术领域

本发明涉及智能体追逃博弈技术领域，更具体的说是涉及一种基于深度强化学习的机器人追逃博弈方法。

背景技术

追逃博弈问题由于其在军事对抗、搜救任务、计算机游戏等问题中的应用而成为研究的热点之一。在机器人领域中，有两种解决追逃博弈的主要方法：即“对抗性搜索”和“单侧搜索”。其中“对抗性搜索”主要有两种方法：微分(differential)和组合(combinatorial)。前一种方法的优势在于，可以将物理约束(如转弯速度或加速度的边界)以微分约束的形式表示。但缺点是，由于生成的方程相当复杂(尤其是在复杂的环境中)，它们的解通常是数值解，仅局部有效或基于启发式，而不是全局最优的。组合方法是将环境用几何形式(例如，用多边形)表示，研究相应的追捕或逃跑策略。“单侧搜索”则假设目标没有响应搜索者的行为，目标通常是使捕获的可能性最大化或使搜索的成本(或时间)最小化。

上述方法虽然处理了有障碍物的情况，但大多限制在较简单的形状(如多边形)，或者将环境用图的形式表示，当环境更加复杂时这些方法将不再适用。另一方面，所产生的策略一般是固定的，无法根据对手的水平做出相应调整。

目前，深度强化学习在游戏博弈领域取得了引人瞩目的进展，现有基于深度强化学习的对于追逃博弈问题的研究，大多假设参与者速度恒定或在网格地图中移动，仅适用于仿真环境下或游戏场景中。而当应用于实际场景中时，还需要考虑机器人的非完整约束、速度约束、加速度约束等。

因此，如何提供一种考虑实际场景中障碍物的影响以及运动学约束，并获得实时智能的追捕和逃跑策略的基于深度强化学习的机器人追逃博弈方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于深度强化学习的机器人追逃博弈方法，设计了基于DQN的动作空间离散的追逃博弈算法，并且通过自我对弈结合课程学习的机制同时训练追捕者和逃跑者智能体，很大程度上优化了追捕者和逃跑者的输出策略。

为了实现上述目的，本发明采用如下技术方案：

一种基于深度强化学习的机器人追逃博弈方法，包括：

构建包含障碍物的虚拟追逃博弈场景；

确定追逃双方智能体在所述追逃博弈场景中的非完整运动约束条件和环境范围约束条件；追逃双方智能体包括追捕者和逃跑者；

分别构建追逃双方智能体的回报函数；回报函数用于评估追逃双方智能体在某一特定状态下对某一动作的执行情况，并输出回报值；

引入深度Q网络算法，并结合所述非完整运动约束条件、所述环境范围约束条件和所述回报函数，分别构建追逃双方智能体的初始追逃博弈模型；

结合课程学习机制和自我对弈机制分别对追逃双方智能体的初始追逃博弈模型进行训练，获得训练过程中的交互数据；

利用训练过程中的交互数据不断对追逃双方智能体的深度Q网络进行更新，并实时改变各自深度Q网络的自身策略，得到追逃双方智能体的最终追逃博弈模型；

基于追捕者的最终追逃博弈模型实时输出追捕策略；或基于逃跑者的最终追逃博弈模型实时输出逃跑策略。