[发明专利]一种深度强化学习训练方法及计算机可读存储介质

权利要求书

1.一种深度强化学习训练方法，其特征在于，包括如下步骤：

S1：指定情境数量，初始化深度强化学习多头神经网络模型的权重参数；智能体随机决策，收集样本存于经验回放缓冲区；

S2：依据所述情境数量，采用在线聚类算法实现自适应情境划分，对当前时间步状态进行在线聚类，自适应进行情境推断，得到截止当前时刻的情境划分和各情境中心；

S3：从所述经验回放缓冲区随机采样小批量样本，并依据各所述样本对应的状态与各所述情境中心的欧氏距离依次将各所述样本分配至距离最近的所述情境中；

S4：依据所述样本对应情境训练共享特征提取器及相应输出头的权重参数，并结合知识蒸馏损失对其他输出头权重参数进行同步更新，估计值函数；

S5：下一时间步，智能体依据所述值函数继续决策，收集样本存于所述经验回放缓冲区，重复进行所述自适应情境划分和所述深度强化学习多头神经网络模型的权重参数更新迭代，直至所述深度强化学习多头神经网络模型完成预先指定的训练次数或达到收敛。

2.如权利要求1所述的深度强化学习训练方法，其特征在于，指定所述情境数量k，其中，k＞1；选用一个共享特征提取器和一组线性输出头组成的神经网络结构参数化值函数，每个线性输出头对应于一个特定情境；初始化所述深度强化学习多头神经网络模型的权重参数其中，为共享特征提取器参数，为对应当前训练样本所属情境的输出头参数，为其他输出头参数；将单个强化学习环境划分为k个情境，并针对每个所述情境中包含的状态采用所述深度强化学习多头神经网络分别对每个所述情境进行值函数估计。

3.如权利要求2所述的深度强化学习训练方法，其特征在于，收集样本存于所述经验回放缓冲区，在t时刻收集到的样本表示为{s_t，a_t，r_t，s_t+1}；

其中，s_t为t时刻智能体所处的环境状态，a_t为t时刻智能体所采取的动作，r_t为采取动作a_t后环境反馈的奖励，s_t+1为采取动作后智能体达到的t+1时刻环境状态，经验回放缓冲区表示为大小为N。

4.如权利要求3所述的深度强化学习训练方法，其特征在于，对所述深度强化学习多头神经网络模型训练过程中经历的所有状态进行划分得到有限个簇，每个所述簇称为一个情境ω，Ω＝{ω₁，ω₂，...，ω_k}为划分得到的所述情境的有限集合。

5.如权利要求4所述的深度强化学习训练方法，其特征在于，利用Sequential K-Means算法对当前时刻t智能体所处的环境状态s_t进行在线聚类实现自适应情境划分，得到情境划分中心为其中，c_i为第i个情境ω_i的聚类中心。

6.如权利要求5所述的深度强化学习训练方法，其特征在于，对每个时间步状态进行在线聚类，自适应进行情境推断，得到截止当前时刻的情境划分和各情境中心，具体操作包括：

当前时刻t下，各所述情境中心为每个所述情境内包含的状态个数为并分别计算当前时刻智能体所处的环境状态s_t与各个所述情境中心c_i之间的距离d(s_t，c_i)，将当前时刻智能体所处的环境状态s_t分配至距离最近的所述情境ω_j中；然后相应地更新所述情境ω_j包含的状态个数n_j＝n_j+1及所述情境划分中心

其中，i∈{1，2，...，k}，j＝arg min_id(s_t，c_i)。