[发明专利]类脑连续学习协同围捕方法、系统及介质

说明书

本发明公开了一种类脑连续学习协同围捕方法、系统及介质，属于类脑智能与机器人领域，方法包括：获取相机拍摄的图像数据并识别图像数据中的其它智能体，将识别到的其它智能体划分为其它围捕智能体和猎物智能体；对于每一其它智能体，为其在图像数据中对应区域的各像素赋予设定值，根据值为设定值的所有像素的个数、中心列位置分别确定其它智能体相对于围捕智能体的第一距离、方位角；获取各超声波传感器探测到的其它智能体相对于围捕智能体的第二距离，根据第二距离更新当前的避障测度；将第一距离、方位角以及当前的避障测度输入MADDPG模型，得到相应的动作策略以控制围捕智能体。提高智能体的决策避障能力，增加障碍环境下围捕效率。

技术领域

本发明属于类脑智能与机器人领域，更具体地，涉及一种类脑连续学习协同围捕方法、系统及介质。

背景技术

为实现机器人协同围捕，机器人设备终端通常配有多种传感器和控制器，传感器采集环境状态信息，控制器处理各类传感信息并给出运动控制命令。然而，复杂障碍环境下，传感器信息输入不完全，机器人的感知、决策和控制过程分散，难以支撑机器人围捕所需的连续学习能力，导致围捕效率低下。

许多基于网络一致性的控制方法被提出，以解决确定环境下多智能体跟踪围捕问题。然而，这些方法大多依赖确定的环境信息，并且假定捕食机器人能直接获取猎物目标的位置、速度及转向等信息，这在猎物相对灵活，如具有逃逸能力时是难以执行的，因此难适用于障碍环境围捕。基于多智能体强化学习的围捕方法一定程度上解决了上述逃逸猎物跟踪难、围捕难等问题。然而，大多强化学习围捕方法存在障碍环境下感知决策不完全、围捕成功率不高等缺陷。如何构建基于类脑连续学习的、实现感知、决策与控制一体化的围捕方法，对提升障碍环境围捕效率具有重要意义。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种类脑连续学习协同围捕方法、系统及介质，其目的在于解决现有协同控制围捕方法依赖确定的环境状态信息的局限，导致障碍环境下围捕效率低的问题。

为实现上述目的，按照本发明的一个方面，提供了一种类脑连续学习协同围捕方法，用于围捕智能体，所述围捕智能体配置有相机和多个超声波传感器，方法包括：获取相机拍摄的图像数据并识别所述图像数据中的其它智能体，将识别到的其它智能体划分为其它围捕智能体和猎物智能体；对于每一其它智能体，为其在图像数据中对应区域的各像素赋予设定值，根据值为设定值的所有像素的个数、中心列位置分别确定所述其它智能体相对于所述围捕智能体的第一距离、方位角；获取各超声波传感器探测到的其它智能体相对于所述围捕智能体的第二距离，并在任一超声波传感器探测到的第二距离小于距离阈值，或者，所有超声波传感器探测到的第二距离均不小于距离阈值时，更新当前的避障测度；将各所述其它智能体相对于所述围捕智能体的第一距离、方位角以及当前的避障测度输入训练好的MADDPG模型，得到相应的动作策略，并根据所述动作策略控制所述围捕智能体动作以围捕所述猎物智能体。

更进一步地，所有超声波传感器探测到的第二距离均不小于距离阈值时，更新后的避障测度为0；任一超声波传感器探测到的第二距离小于距离阈值时，更新后的避障测度为：

其中，为更新后的避障测度，为更新前的避障测度，为与奖励函数相适配的系数，为第二距离，为距离阈值。

更进一步地，所述第一距离与值为设定值的所有像素的个数负相关。

更进一步地，所述MADDPG模型采用Actor-Critic框架，方法还包括：采用基于多个不同子策略的训练方法，以整体目标函数关于各子策略的策略参数的梯度收敛为目标，训练所述MADDPG模型。

更进一步地，整体目标函数关于第个子策略的策略参数的梯度为：