[发明专利]一种强化学习的高效探索方法

权利要求书

1.一种强化学习的高效探索方法，其特征在于，步骤如下：

1)预训练计数估计函数，预训练过程为：

1.1)在环境的状态空间中进行采样；

1.2)对每个采样到的状态，分别用独立的VAE对其进行重构；

1.3)对每个采样到的状态s，用不同数量的状态s训练VAE，并计算对应的重构误差；记数量为count时的重构误差为error，得到三元组为<s,error,count>；

1.4)将不同状态和不同数量下得到的三元组<s,error,count>构成三元组集合M；

1.5)将计数估计函数用神经网络c_θ(s,err)表示，用1.4)中所得到的三元组集合M作为数据集训练神经网络c_θ，每一轮训练时从三元组集合M中采样一个批次的数据：

式中：N为当前批次数据的个数；s_i为第i个数据记录的状态s，err_i为第i个数据记录的重构误差error，cnt_i为第i个数据记录的数量count；

神经网络c_θ损失函数为:

2)利用预训练的计数估计函数进行强化学习的高效探索，探索过程为：

2.1)将强化学习算法中的行动策略μ(s)拷贝一份作为探索策略μ_E(s)；

2.2)初始化一个VAE，记为V^*；

2.3)对于强化学习过程中遇到的<状态s，动作a，奖励r>序列，对于每一个<状态s，动作a，奖励r>对，用状态s训练V^*并计算其重构误差err^*＝‖V^*(s)-s‖²，V^*(s)表示状态s输入V^*所得到的结果；

2.4)用状态s的实时重构误差err^*和预训练的计数估计函数c_θ(s，err)估计状态s出现次数cnt(s)＝c_θ(s，err^*)；

2.5)按照公式(1)或(2)，用估计的状态出现次数cnt(s)计算相应的奖赏：

式中：β为奖赏量级因子，β>0；

2.6)用环境给出的奖励信号r训练行动策略μ(s)，用奖赏信号R训练探索策略μ_E(s)；在训练探索策略时，同时引入与行动策略的距离约束α‖μ(s)-μ_E(s)‖²，α为约束项因子；

2.7)以一定的概率p选择探索策略产生的动作与环境进行交互，以剩下的概率1-p选择行动策略产生的动作与环境进行交互；

2.8)不断重复2.3)～2.7)，直到满足终止条件，终止循环，完成强化学习的高效探索。

2.如权利要求1所述的强化学习的高效探索方法，其特征在于，所述的终止条件为强化学习算法与环境交互次数达到设定上限T。

3.如权利要求1所述的强化学习的高效探索方法，其特征在于，所述的奖赏R优选采用公式(2)计算。

4.如权利要求1所述的强化学习的高效探索方法，其特征在于，所述的2.6)中，在训练过程中，计算两个策略的距离dist＝‖μ(s)-μ_E(s)‖²，α根据距离dist动态调整，当两个策略的距离超过设定的上限时，增大α；当两个策略的距离低于设定的下限时，减小α。

5.如权利要求1所述的强化学习的高效探索方法，其特征在于，所述的奖赏量级因子β＝1，概率p＝0.1。