[发明专利]一种多智能体行动策略自演进生成方法

权利要求书

1.一种多智能体行动策略自演进生成方法，其特征在于，包括如下步骤：

步骤1：初始化公共神经网络，所述公共神经网络包含演员网络和评论家网络，设置两个全局参数分别θ和w，其中演员网络参数为θ'，评论家网络参数为w'；

设置全局迭代次数T，全局最大迭代次数T_MAX；

单次线程的单次迭代中的时间序列最大长度t_MAX，所述公共神经网络的输入为状态特征和动作，输出为行动策略；状态特征隶属于状态特征集S，动作隶属于动作集A，行动策略隶属于策略集π(a/s)；其中a代表当前行动策略对应动作，s代表当前的状态；熵系数为c；衰变因子为γ；

步骤2：设置当前线程的单次迭代中的时间节点t，t的初始值为1；设置当前线程中演员网络参数θ'和评论家网络参数w'的梯度值dθ'和dw'初值均为0；

步骤3：将初始化的公共网络参数赋值给当前的单次线程中的演员网络参数和评论家网络参数，即θ'＝θ，w'＝w；

步骤4：初始化状态特征集S；

步骤5：基于部分设定规则以及智能体的当前状态特征s^t，根据策略集π(a/s)，智能体做出当前策略的动作a^t；

步骤6：计算当前时间节点执行完动作a^t后获得的回报值r^t；更新时间节点t，即t自增1，更新智能体的状态特征为s^t+1；

步骤7：若t＞t_MAX，则转向步骤8，否则返回执行步骤5；

步骤8:计算当前时间序列内最后一个时间节点的t的状态奖励值Q(s^t,t)

步骤9：更新时间节点t+1的状态奖励值Q(s^t,t+1)＝W·r^t+γQ(s^t,t)；

其中W为单步动作的回报值的权重系数，W取值为0-1之间；

更新当前线程中演员网络参数的梯度值为

dθ'+▽_θ'logπ_θ'(s^t,a^t)(Q(s^t,t)-V(s^t，t))+c▽_θ'H(π(s^t,θ'))；

其中，▽_θ'为梯度算子，即计算θ'的梯度值；H(π(s^t,θ'))为策略π(a^t/s^t)熵值；V(s^t,t)为在状态特征s^t、时间序列t时由评论家网络的价值函数计算得到的评论家价值；

更新当前线程中评论家网络参数的梯度值为

步骤10：更新公共神经网络的两个全局参数：θ减小αdθ'，w减小βdw'；其中α为演员网络参数步长；β为评论家网络参数步长；

步骤11：T自增1；如果T＞T_MAX,则公共神经网络训练完成，输出公共神经网络的两个全局参数参数θ,w,否则返回步骤3；

步骤12：公共神经网络训练完成后，形成策略生成模型，面对新的空战环境变化，将所述新的空战环境的状态特征和动作输入至所述策略生成模型，输出行动策略。

2.如权利要求1所述的行动策略自演进生成方法，其特征在于，所述特征状态集S的向量空间包括以下量化后的数据：环境态势信息、智能体从传感器获取的数据、智能体能力图谱、按功能域划分的任务策略规划序列、智能体自身行动状态。

3.如权利要求1所述的行动策略自演进生成方法，其特征在于，所述动作集包含智能体的基本行为动作。

4.如权利要求1所述的多智能体行动策略自演进生成方法，其特征在于，所述步骤8中，Q(s^t,t)的计算方法如下：

5.如权利要求1所述的多智能体行动策略自演进生成方法，其特征在于，所述单步动作的回报值的权重系数W的取值，将通过设定阈值将时间序列分为前后两段，当t处于前半段时W的取值大于t处于后半段时W的取值。