[发明专利]一种混合经验的多智能体强化学习运动规划方法

说明书

本发明公开了一种混合经验的多智能体强化学习运动规划方法，即ME‑MADDPG算法。该方法通过MADDPG算法训练，在产生样本时，不仅通过探索和学习产生经验，还增加了通过人工势场法将多无人机成功规划至目标的高质量经验，并把这两种经验存放至不同的经验池。在训练时，神经网络通过动态采样，以变化的概率从两种经验池中采集样本，以每个智能体的自身状态信息和环境信息作为神经网络的输入，以多智能体的速度作为输出。同时，在训练的过程中神经网络缓慢更新，稳定地完成多智能体运动规划策略的训练，最终实现多智能体在复杂环境下自主避障并顺利到达各自的目标位置。本发明可以在复杂动态的环境中高效地训练出稳定性和适应性更好的运动规划策略。

技术领域

本发明属于深度学习技术领域，具体涉及一种多智能体强化学习运动规划方法。

背景技术

随着科学理论与科学技术的蓬勃发展，多智能体系统在人们的日常生产和生活中应用越来越广泛，应用领域包括机场拖航、物流仓储、交通控制、机器人、电子游戏、智能无人驾驶等，而在这些领域中都需要利用多智能体运动规划技术。多智能体运动规划问题是一类寻找多个智能体从起始位置到目标位置且无冲突的最优路径集合的问题，如何让智能体高效地避开障碍物以及其他智能体，到达指定区域成为了一大研究难题。

目前研究者提出的运动规划方法整体上可以分为全局路径规划和局部路径规划。全局路径规划虽然能够高效快速地得到全局最优解，但全局信息的获取及通信瓶颈问题使得该类方法难以适应动态复杂的环境。因此在动态复杂的环境中依赖于具有实时获取环境信息能力的局部路径规划方法显示出巨大的优势，如人工势场法、遗传算法、神经网络、模糊逻辑等，但仍存在如难以解决局部极小、收敛速度慢及存储量大、规则和样本难以确定等问题，这些方法通常容易受到无法预料的干扰，任何不完整的感知，有偏差的估计或不正确的模型都将导致性能不佳。而多智能体强化学习不依赖环境模型和先验知识，而且具有自主学习和预测学习的特点，通过奖赏与惩罚来优化马尔科夫决策过程中的多智能体的策略，代表算法有MADDPG算法等，它们可以适用于随机变化的环境，逐渐成为多智能体在运动规划方面的研究热点。但是在多智能体系统训练的过程中，随着智能体增多，环境的状态维度也会指数增大，容易陷入维数灾难，会导致算法收敛困难，同时由于环境中多个智能体的存在，会导致对某个单一智能体而言，环境是不稳定的，该问题会加剧算法收敛的难度，同时会影响多智能体运动规划策略的稳定性，难以适用于复杂环境。因此，设计出一个能适应在不同未知、动态、复杂的环境中的多移动智能体的高效避障与路径规划系统，具有十分重大的实际意义。

人工势场法具有简单且有效的避障规划策略，但存在局部极小和规划难以适用动态复杂环境的问题；MADDPG算法不在意环境的复杂度，具有自主学习的特性，但存在收敛困难以及训练稳定性较差的问题。因此，将两者优势相结合，设计一种收敛性和稳定性强大的多智能体运动规划方法，对于多智能体在动态复杂的环境中高效地完成运动规划具有重要意义。

发明内容

为了克服现有技术的不足，本发明提供了一种混合经验的多智能体强化学习运动规划方法，即ME-MADDPG算法。该方法通过MADDPG算法训练，在产生样本时，不仅通过探索和学习产生经验，还增加了通过人工势场法将多无人机成功规划至目标的高质量经验，并把这两种经验存放至不同的经验池。在训练时，神经网络通过动态采样，以变化的概率从两种经验池中采集样本，以每个智能体的自身状态信息和环境信息作为神经网络的输入，以多智能体的速度作为输出。同时，在训练的过程中神经网络缓慢更新，稳定地完成多智能体运动规划策略的训练，最终实现多智能体在复杂环境下自主避障并顺利到达各自的目标位置。本发明可以在复杂动态的环境中高效地训练出稳定性和适应性更好的运动规划策略。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1：对多智能体建立复杂环境下运动规划的随机对策模型；