[发明专利]一种用于非字型货架的立体仓库货位分配优化方法

说明书

本发明公开了一种用于非字型货架的立体仓库货位分配优化方法，包括构建基于DQN框架的强化学习模型，并定义强化学习模型中的智能体、状态空间、动作空间、奖励回报，以及其优化目标；对强化学习模型的所有参数值和策略进行初始化，并批量生成出入库任务，通过泊松到达的出入库任务训练强化学习模型；利用反向传播算法对策略梯度进行求导，计算梯度下降更新DQN网络参数，得到训练完成的强化学习模型，并应用于立体仓库进行货位智能优化。本发明通过货物出入库任务训练模型取得最优分配方案，解决了动态存储、大规模物流场景的非字型货架仓库的货位分配问题。

技术领域

本发明涉及智能仓储行业技术领域，特别涉及一种用于非字型货架的立体仓库货位分配优化方法。

背景技术

自动化立体仓库以其低占地面积、高吞吐效率和智能化集成控制的特点被广泛应用于工业仓储环节，而非字型货架的立体仓库在物流行业中应用最为常见。非字型货架是一种将货架设计成外层两侧单列、内部双列的货架类型，而影响非字型货架存取作业效率的因素中，主要是货位分配问题。由于不可控的外部因素及非字型货架本身的特性，货物在入库存储时若货位分配不当，会增加出入库运行的距离和作业时间，降低出入库效率和物流企业效益。目前国内对智能立体仓储研究起步比较晚，针对于大规模物流的动态存储仍然发展缓慢，尤其缺乏适用于非字型货架货位分配的优化控制研究。

现有技术的不足之处在于，目前有提出设定规则的货位分配方法，如根据该货物的周转率的比值对货位的摆放位置进行优化，部分研究者以货物出入库频率和货架稳定性为优化目标建立适应度函数，并通过启发式算法进行优化，但现有的立体仓库货位分配优化方法有一定的局限性：现有方法考虑的现实因素少，对物流场景建模与现实情况存在偏差；需要人为设计目标函数和约束条件，对先验知识的要求较高；只能考虑到当前时间点的仓库最优情况，无法进行出入库动态规划。

发明内容

本发明的目的克服现有技术存在的不足，为实现以上目的，采用一种用于非字型货架的立体仓库货位分配优化方法，以解决上述背景技术中提出的问题。

一种用于非字型货架的立体仓库货位分配优化方法，具体步骤包括：

步骤S1、构建基于DQN框架的强化学习模型，并定义强化学习模型中的智能体、状态空间、动作空间、奖励回报，以及其优化目标；

步骤S2、对强化学习模型的所有参数值和策略进行初始化，并随机生成出入库任务；

步骤S3、将基于泊松到达过程的所述出入库任务输入强化学习模型，对构建的强化学习模型进行训练；

步骤S4、利用反向传播算法对策略梯度进行求导，计算梯度下降更新DQN网络参数；

步骤S5、重复上述步骤S3和S4，得到训练完成的强化学习模型，并应用于立体仓库进行货位智能优化。

作为本发明的进一步的方案：所述步骤S1的具体步骤包括：

S11、状态空间定义：

获取立体仓库货位的信息，包括货位存储货物信息、堆垛机信息，以及可执行任务信息，同时对每个货位进行编码，编码表示为：

S＝(P_1,P_2,P_3,…_t,D,E)∈[1,…,t]；

其中，P_i代表货物种类，t代表货位个数，i代表每个货位对应的唯一编码，D代表堆垛机信息，E代表当前可执行任务信息；

S12、动作空间定义：

采用不同的出入库规则设置动作空间，同时通过预先计算每个货位与出入库点之间的距离，存入距离矩阵，动作空间设置四类动作，包括选择移动距离最近的货格进行出库、选择最短距离的空货格进行入库、选择靠近底层中间位置的空货格进行入库、无可执行出入库任务，等待新任务到达；