[发明专利]一种多代理合作场景下的通信协议学习和迁移的方法

权利要求书

1.一种多代理合作情景下的通信协议学习和迁移的方法，其特征在于，包括：

在多代理合作通信系统中引入信道代理来自动学习通信协议，区别于用于执行动作的执行代理；

使用所述信道代理来自动学习通信协议，所述信道代理接收执行代理发来的特征向量，按照通信协议生成消息向量分发给执行代理；

执行代理和信道代理的工作流程具体为：每个执行代理独立进行观测，并通过编码器将所观测的局部状态进行编码，生成对应的特征向量并发送给所述信道代理，所述信道代理接收特征向量，使用所述通信协议生成消息向量并分发给执行代理；所述执行代理接收到所述消息向量，与所述特征向量一起输入自己的策略网络，所述策略网络输出动作向量，与环境进行交互；使用深度确定性策略梯度算法分别对所述执行代理和所述信道代理的相关网络参数进行调整；

从源任务迁移到目标任务时，保留源任务上学习到的通信协议网络参数，并限制目标任务学习时的通信协议网络参数更新率。

2.如权利要求1所述的方法，其特征在于，

所述通信协议由循环神经网络进行实现，其输入为所述执行代理所计算得到的特征向量，将网络的循环单元按代理数目进行展开，将所述循环单元的隐含状态作为所述消息向量。

3.如权利要求1所述的方法，其特征在于，

所述的深度确定性策略梯度算法中，执行代理和信道代理分别拥有独立的动作-价值函数，执行代理的动作-价值函数的输入为特征向量和动作向量，信道代理的动作-价值函数的输入为特征向量和消息向量；其中，执行代理的编码器和策略网络的参数是通过所述执行代理的动作-价值函数的梯度进行调整的，信道代理的通信协议网络的参数是通过所述信道代理的动作-价值函数的梯度进行调整的。

4.如权利要求1所述的方法，其特征在于，

迁移时，首先在源任务上进行通信协议的学习，然后将通信协议网络的参数复用在目标任务中，并限制相关参数的学习率，以保留学习到的通信协议的性能且快速适应目标任务。