[发明专利]一种离散制造场景中的强化学习奖励自学习方法

权利要求书

1.一种离散制造场景中的强化学习奖励自学习方法，其特征在于：包括如下步骤：

S1：对当前生产线的工序进行细化g∈G＝{g₁,g₂,…,g_N}，其中g为细化后当前工序需达到的目标所对应的状态，智能体Agent到达预定目标g记录为一个交互序列episode，根据初始参数获得g₁作为目标对应的多段episodes，进行GPR模块的训练；

S2：引入基于模型的强化学习方法，将episodes中的状态动作对以及状态的差值△作为训练数据集输入GPR模块，训练得到基于状态差分的系统状态转移模型s_t+1＝f(s_t,a_t)；其中a_t为智能体Agent采取的动作；

S3：根据智能体Agent获得的环境反馈状态s_t，将新的状态s_t同步输入GRP模块、Reward网络、Actor网络、Critic网络中，则Reward网络输出r(s_t)，Actor网络输出a(s_t)，Critic网络输出V(s_t)，所述的GPR模块根据S2中推导获得的状态转移模型最终输出值函数V_g并作为整体的更新方向；

S4：当|V_g-V(s_t)|ε时，为了避免假阳性，人为判断是否完成当前目标下工序的学习，若完成，则认为实现该段工序的学习，即当前工序下的奖励函数也即Reward网络学习完毕，并进行Reward网络的参数保存；根据Reward网络的参数、Actor网络的参数、Critic网络的参数继续进行交互，产生以下一个子目标g_n+1作为更新方向的episodes，用于GPR的更新；

S5：当设定目标G＝{g₁,g₂,…,g_N}全部依次实现时，完成了生产线的工艺学习，并得到了能够进行动作评估的奖励函数，即Reward网络；

S6：然后移除GPR模块，根据现有网络参数，采用计算量低的强化学习算法在线运行。