[发明专利]车间调度方法、装置、电子设备及存储介质

说明书

本发明提供一种车间调度方法、装置、电子设备及存储介质，车间调度方法包括：获取车间的生产状态参数，并基于所述生产状态参数，得到状态特征矩阵；将所述状态特征矩阵输入至在线策略网络，得到当前时刻的状态动作价值；基于所述当前时刻的状态动作价值，以及目标调度规则库，得到当前时刻的最优调度规则；基于所述当前时刻的最优调度规则，执行车间调度指令。本发明提供的车间调度方法可以解决现有技术中单一调度规则的缺陷，实现利用多个调度规则执行车间调度，以适应调度场景的变化，满足多调度场景的优化。

技术领域

本发明涉及车间作业技术领域，尤其涉及一种车间调度方法、装置、电子设备及存储介质。

背景技术

当前，智能机加工车间实时调度方法大多是基于调度规则和元启发式算法。元启发式算法包括遗传算法，模拟退火算法等，将实时调度问题划分为多个静态子问题进行求解，算法性能较好，但存在求解时间较长、结果可解释性和稳定性较差、难以满足实时响应等缺点。调度规则包括最短加工时间优先、最大剩余时间优先等，具有计算速度快，稳定性好，快速响应等优点。根据无免费午餐理论，调度规则往往适应特定的环境，若环境发生改变，调度规则不能适应调度环境的变化，其响应速度、稳定性和优良性能会降低。因此，需要提供一种车间调度方法，使其调度规则能够适应调度场景的变化，满足多调度场景的性能优化。

发明内容

本发明提供一种车间调度方法、装置、电子设备及存储介质，用以解决现有技术中单一调度规则的缺陷，实现利用多个调度规则执行车间调度指令，以适应调度场景的变化，满足多调度场景的性能优化。

本发明提供一种车间调度方法，包括：

获取车间的生产状态参数，并基于所述生产状态参数，得到状态特征矩阵；

将当前时刻的状态特征矩阵输入至在线策略网络，得到当前时刻的状态动作价值；

基于所述当前时刻的状态动作价值，以及目标调度规则库，得到当前时刻的最优调度规则；

基于所述当前时刻的最优调度规则，执行车间调度指令。

根据本发明提供的车间调度方法，还包括：

基于上一时刻的总拖期，以及当前时刻的总拖期，得到当前时刻的即时回报值；

将所述当前时刻的状态特征矩阵、所述当前时刻的最优调度规则、所述当前时刻的即时回报值，以及下一时刻的状态特征矩阵，作为当前时刻的经验样本，存入经验池；

从所述经验池中选取经验样本，并基于选取的经验样本训练在线策略网络。

根据本发明提供的车间调度方法，所述将所述当前时刻的状态特征矩阵、所述当前时刻的最优调度规则、所述当前时刻的即时回报值，以及下一时刻的状态特征矩阵，作为当前时刻的经验样本，存入经验池，包括：

将所述当前时刻的状态特征矩阵、所述当前时刻的最优调度规则、所述当前时刻的即时回报值，以及下一时刻的状态特征矩阵，作为当前时刻的经验样本，存入第一经验池；

在所述当前时刻的经验样本的即时回报值高于目标回报值的情况下，还将所述当前时刻的经验样本存入第二经验池；

所述从所述经验池中选取经验样本，并基于选取的经验样本训练在线策略网络，包括：

基于第一目标比例从所述第一经验池中选取第一部分样本，以及基于第二目标比例从所述第二经验池中选取第二部分样本；

基于所述第一部分样本和所述第二部分样本，训练所述在线策略网络。

根据本发明提供的车间调度方法，所述在所述当前时刻的经验样本的即时回报值高于目标回报值的情况下，还将所述当前时刻的经验样本存入第二经验池，包括：

将所述第二经验池中经验样本的最低即时回报值作为所述目标回报值；