[发明专利]类脑连续学习协同围捕方法、系统及介质

权利要求书

1.一种类脑连续学习协同围捕方法，用于围捕智能体，其特征在于，所述围捕智能体配置有相机和多个超声波传感器，方法包括：

获取相机拍摄的图像数据并识别所述图像数据中的其它智能体，将识别到的其它智能体划分为其它围捕智能体和猎物智能体；

对于每一其它智能体，为其在图像数据中对应区域的各像素赋予设定值，根据值为设定值的所有像素的个数、中心列位置分别确定所述其它智能体相对于所述围捕智能体的第一距离、方位角；

获取各超声波传感器探测到的其它智能体相对于所述围捕智能体的第二距离，并在任一超声波传感器探测到的第二距离小于距离阈值，或者，所有超声波传感器探测到的第二距离均不小于距离阈值时，更新当前的避障测度；

将各所述其它智能体相对于所述围捕智能体的第一距离、方位角以及当前的避障测度输入训练好的MADDPG模型，得到相应的动作策略，并根据所述动作策略控制所述围捕智能体动作以围捕所述猎物智能体。

2.如权利要求1所述的类脑连续学习协同围捕方法，其特征在于，所有超声波传感器探测到的第二距离均不小于距离阈值时，更新后的避障测度为0；任一超声波传感器探测到的第二距离小于距离阈值时，更新后的避障测度为：

其中，为更新后的避障测度，为更新前的避障测度，为与奖励函数相适配的系数，为第二距离，为距离阈值。

3.如权利要求1所述的类脑连续学习协同围捕方法，其特征在于，所述第一距离与值为设定值的所有像素的个数负相关。

4.如权利要求1所述的类脑连续学习协同围捕方法，其特征在于，所述MADDPG模型采用Actor-Critic框架，方法还包括：采用基于多个不同子策略的训练方法，以整体目标函数关于各子策略的策略参数的梯度收敛为目标，训练所述MADDPG模型。

5.如权利要求4所述的类脑连续学习协同围捕方法，其特征在于，整体目标函数关于第个子策略的策略参数的梯度为：

其中，为第个子策略的策略参数，，为子策略的总个数，为整体目标函数，为各子策略集成的连续策略，为关于的梯度，为状态空间，为动作空间，为第个子策略的经验池，为满足状态-动作对条件的奖励函数期望，为第个子策略，为状态信息，为状态信息确定的情况下选择动作的概率，为关于的梯度；为连续策略下的中心化动作价值函数，其输入为，表示识别到的其它智能体的动作；为以为输入时子策略输出的动作，为关于的梯度。

6.如权利要求1所述的类脑连续学习协同围捕方法，其特征在于，所述动作策略包括：前进、以第一角度左转、以第二角度左转、以第一角度右转、以第二角度右转和停止，所述第一角度小于所述第二角度。

7.如权利要求1-6任一项所述的类脑连续学习协同围捕方法，其特征在于，所述MADDPG模型的奖励策略为：当视野中出现猎物智能体且选择趋近猎物智能体的动作策略时，基础奖励值加h；当执行趋近猎物智能体的动作策略后与猎物智能体之间的距离变小时，基础奖励值加n*h；当猎物智能体与M个围捕智能体之间的距离均小于距离阈值时，M个围捕智能体的基础奖励值均加M*h*h；当视野中没有猎物智能体且执行动作策略后视野中仍没有猎物智能体时，基础奖励值减n′*h；其中，h为正整数，n和n′均为小于h的正整数，M≥1。

8.如权利要求7所述的类脑连续学习协同围捕方法，其特征在于，所述MADDPG模型的奖励函数的最终奖励值为：

其中，为最终奖励值，为所述基础奖励值，为更新后的避障测度。

9.一种类脑连续学习协同围捕系统，包括多个围捕智能体，其特征在于，每一围捕智能体执行如权利要求1-8任一项所述的类脑连续学习协同围捕方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-8中任一项所述的类脑连续学习协同围捕方法。