[发明专利]基于好奇心机制的Rainbow智能体训练方法

权利要求书

1.一种基于好奇心机制的Rainbow智能体训练方法，其特征在于：

将Rainbow智能体训练的时间差分法TD的一步自举换成多步自举，构造Rainbow智能体训练的目标函数；

定义Rainbow智能体训练的多步损失函数；将通过多步自举得到的损失与双Q网络结合，并使用目标函数评估智能体不同价值下的动作；

改变Rainbow智能体训练时的优先体验重放顺序；

将DuelingDQN与分布式网络结合作为Rainbow智能体网络，对Rainbow智能体的网络体系结构进行调整；

设计好奇心模块，Rainbow智能体训练中添加好奇心机制；

计算好奇心模块中前向动力学模型预测误差，并将其作为智能体训练的内在奖励，使智能体不断去探索新的状态。

2.根据权利要求1所述基于好奇心机制的Rainbow智能体训练方法，其特征在于：

所述将Rainbow智能体训练的时间差分法TD的一步自举换成多步自举，构造Rainbow智能体训练的目标函数的具体方法为：

首先将Rainbow智能体训练的时间差分法TD的一步自举换成多步自举，在时间差分的第零步TD(0)后进行多步采样多步自举；再通过将智能体的价值分布压缩到第n步的价值S_t+n，并通过截取的n步折扣奖励来构造智能体的目标函数。

3.根据权利要求2所述基于好奇心机制的Rainbow智能体训练方法，其特征在于：所述构造Rainbow智能体训练的目标函数如下公式所示：

其中，为t时刻内时间差分第n步的目标函数；z是智能体离散价值分布的支撑，其是原子atoms的集合；为截取的n步奖励；为截取的n步折扣因子；表示在价值S_t+n时得到的动作对应的原子的概率。

4.根据权利要求2所述的基于好奇心机制的Rainbow智能体训练方法，其特征在于：所述定义Rainbow智能体训练的多步损失函数具体为：

使用KL散度去衡量两个价值分布之间的距离，确定Rainbow智能体训练的损失函数如下公式所示：

其中，D_KL表示价值分布下的KL散度；d_t为t时刻的目标函数；Φ_z为在智能体离散价值分布的支撑z上的投影。

5.根据权利要求4所述的基于好奇心机制的Rainbow智能体训练方法，其特征在于：所述改变Rainbow智能体训练时的优先体验重放顺序，具体为：

将所有智能体经验样本都根据KL散度计算出的损失来确定经验的优先排序。

6.根据权利要求1所述的基于好奇心机制的Rainbow智能体训练方法，其特征在于：所述将Dueling DQN与分布式网络结合作为Rainbow智能体网络，对Rainbow智能体的网络体系结构进行调整，具体为：

分布式网络使用参数化的离散分布来建立价值分布模型，分布的支撑是N个原子atoms的集合；在Rainbow智能体网络中，价值流v_η与优势流a_ψ共享一个公共的卷积神经学习模块f_ξ(s)；设定Rainbow智能体网络中卷积层的输出是φ，则价值流v_η的输出是一个N维的向量N_atoms，优势流a_ψ的输出是一个N×|A|的矩阵，A＝N_atoms×N_actions，N_actions表示分布式网络输出的矩阵有N行动作a，得到每个原子atoms所对应的状态和动作概率如下公式所示：

其中，φ＝f_ξ(s)，表示对应于第m个原子的动作a的输出，a′为状态s所对应的动作，m＝1，2，…，N；

最后将Rainbow智能体神经网络中的所有线性层中的参数换成带有分解的高斯噪声的参数。