[发明专利]多机器人的深度强化学习系统、训练方法、设备及介质

权利要求书

1.一种多机器人的深度强化学习系统，其特征在于，包括通信仿真模块、环境仿真模块和算法环境模块，其中，

所述通信仿真模块，用于搭建多机器人的通信框架；其中，所述通信框架包括订阅者、发布者以及各仿真机器人对应的话题；

所述环境仿真模块，用于搭建仿真环境、创建多个仿真机器人以及构建与实际场景对应的仿真场景；

所述算法环境模块，用于搭建算法环境，对多个仿真机器人对应的深度强化学习算法进行训练，在训练的过程中，各仿真机器人将各自的状态数据发布至对应的第一状态话题，所述深度强化学习算法订阅各所述第一状态话题中各仿真机器人的状态数据，并利用所述状态数据确定出各仿真机器人的动作，然后分别发布至各仿真机器人对应的第一速度话题，各仿真机器人订阅相应的所述第一速度话题中的动作，并执行相应的所述动作，直到所述深度强化学习算法收敛，得到训练后深度强化学习算法。

2.根据权利要求1所述的多机器人的深度强化学习系统，其特征在于，

所述通信仿真模块，具体用于利用ROS搭建多机器人的通信框架；

所述环境仿真模块，具体用于在Python2.7下搭建Gazebo仿真环境、利用URDF创建多个Spark仿真机器人以及构建与实际场景对应的仿真场景；

所述算法环境模块，具体用于在Python3.7下利用OpenAI gym搭建算法环境。

3.根据权利要求1所述的多机器人的深度强化学习系统，其特征在于，还包括：

实物通信模块，用于将运行所述训练后深度强化学习算法的主机和多个实物机器人接入同一局域网，并对所述主机和多个所述实物机器人进行配置，以便所述主机与多个所述实物机器人之间网络互通，并在每个所述实物机器人中添加主机开启ROS Master指令。

4.根据权利要求3所述的多机器人的深度强化学习系统，其特征在于，还包括：

算法迁移模块，用于对所述训练后深度强化学习算法继续训练，并在训练过程中，利用所述训练后深度强化学习算法订阅多个所述实物机器人的第二状态话题中的状态数据，并利用各所述实物机器人的状态数据确定出各实物机器人的动作，然后分别发布至各实物机器人对应的第二速度话题，各实物机器人订阅相应的所述第二速度话题中的动作，并执行相应的动作，直到所述训练后深度强化学习算法收敛，得到最终的深度强化学习算法。

5.根据权利要求4所述的多机器人的深度强化学习系统，其特征在于，所述实物通信模块，还用于：

创建所述第二状态话题、以及所述第二速度话题。

6.根据权利要求4所述的多机器人的深度强化学习系统，其特征在于，所述算法迁移模块，还用于：

创建动作缓存池，并利用所述动作缓存池将各实物机器人对应的第二速度话题对应的动作缓存，以及同时将各实物机器人的动作发送至各实物机器人。

7.根据权利要求1至6任一项所述的多机器人的深度强化学习系统，其特征在于，所述算法环境模块，还用于：

在各仿真机器人的状态数据中添加噪声。

8.一种多机器人的深度强化学习训练方法，其特征在于，包括：

搭建多机器人的通信框架；其中，所述通信框架包括订阅者、发布者以及各仿真机器人对应的话题；

搭建仿真环境、创建多个仿真机器人以及构建与实际场景对应的仿真场景；

搭建算法环境，对多个仿真机器人对应的深度强化学习算法进行训练，在训练的过程中，各仿真机器人将各自的状态数据发布至对应的第一状态话题，所述深度强化学习算法订阅各所述第一状态话题中各仿真机器人的状态数据，并利用所述状态数据确定出各仿真机器人的动作，然后分别发布至各仿真机器人对应的第一速度话题，各仿真机器人订阅相应的所述第一速度话题中的动作，并执行相应的所述动作，直到所述深度强化学习算法收敛，得到训练后深度强化学习算法。