[发明专利]多站点传送带给料生产加工站系统的优化控制方法

说明书

技术领域

本发明涉及自动控制领域，尤其是一种多站点传送带给料生产加工站系统的优化控制方法。

背景技术

在现实世界的一些生产加工企业中，存在一类由生产加工站作为加工主体的生产线，例如先进制造业中的一些机器人装配线，其中，加工站由传送带输送工件进行加工，这样的一类系统称为传送带给料生产加工站(Conveyor-ServicedProduction Station，CSPS)。站点包含一个加工主体，可以为一个机器人或机器手臂等，甚至可以认为是一个装配工人。站点配有两个库，一个用于存放从传送带上卸载下来的待加工工件，称之为缓冲库，其容量有限。另一个用于存放成品工件，称之为储藏库，其容量无限。站点还配有一个前视传感器，如红外、雷达或摄像头等，可感知或测定传送带上一定距离内是否有工件以及工件的位置信息。这里，前视距离为系统控制变量。在当前决策时刻，站点根据缓冲库空余量做出决策，即确定前视距离的长度(一般假设视距范围有限)。若该前视距离内有工件，则站点等待工件到达并捡取放入缓冲库，然后转入下一个决策时刻；否则，直接从缓冲库中取出一个工件进行加工，加工完毕后放入储藏库中，转入下一个决策时刻。站点在加工工件过程中，传送带上到达的工件将会流失。该单站点系统的控制目标就是合理选择站点在不同缓冲库空余量下的前视距离长度，使得系统长期运行的工件流失率最低，以提高系统工件处理率。由于专业化、规模化和集约化生产的需要，有些生产线往往配有多个CSPS，称为多站点CSPS。在多站点系统中，上游站点在加工过程中到达的工件将会传送到下游站点，最后一个站点的工件流失则视为系统的工件流失。多站点系统的控制目标也是降低工件流失率和提高工件处理率，并有效平衡各站点间的工作负载。因此，如何实现站点之间高效协作成为该类系统需要解决的重要问题之一。随着实际系统越来越复杂化，其控制存在以下一些问题：

1、若将所有站点看作一个整体，即一个智能体(Agent)进行集中控制，并将每个站点的缓冲库空余量联合组成系统的状态，每个站点的前视距离联合组成系统行动，必然会造成系统状态空间、行动集巨大，导致“维数灾”和“建模难”问题，求解的复杂度关于智能体个数将呈指数增长形式。

2、站点之间的通信能力或感知能力有可能受到客观条件的限制，往往只能观测或感知到其邻近环境的信息。由于站点具有串行分布的结构特点，因此考虑邻近站点的局域信息交互更符合实际情况。

3、由于站点的串行分布特点，前面(上游)站点具有优先捡取工件的机会，其决策对后面(下游)所有站点的运行都将产生影响。在没有信息交互的情况下，下游站点的决策对上游站点却不产生影响。因此，学习控制时，上游站点总是比下游站点的学习收敛速度快，且下游站点的学习变化无法反馈到上游。这种工作模式容易造成传送带上游站点的负荷过高而下游站点负荷较轻，不利于站点间的负载平衡，进而影响系统处理率的提高。

4、在一些文献中，较多考虑的情况都是离散的系统模型，即报酬或代价为瞬时的，与时间无关。而实际中，报酬或代价往往是随时间累积的，即具有连续时间特性。同时，对于折扣和平均两种性能准则下性能优化问题的现有研究，大都是分开来的，没有统一的表达式或优化算法。

发明内容

本发明的目的是提供一种多站点传送带给料生产加工站系统的优化控制方法，控制方法基于反应扩散思想，与仅依赖自身信息的控制方法相比，能够较好地改善各个加工站点的负载平衡性，并有效提高整个系统的工件处理率。

为了达到上述目的，本发明所采用的技术方案为：

多站点传送带给料生产加工站系统的优化控制方法，所述系统包括有传送带，传送带一侧设置有多个加工站点，每个加工站点包括加工主体，临时存放待加工的工件的缓冲库，存放成品工件的储藏库，以及观察获取从传送带上游向加工主体方向传递的、待加工工件的位置信息的前视传感器；特征在于：将每个加工站点看作为一个智能体，多站点传送带给料生产加工站系统看成多智能体系统模型；定义每个加工站点中缓冲库的空余量为其自身状态，多智能体系统模型状态的演化用各站点的缓冲库空余量的变化情况描述，所述缓冲库空余量的取值范围构成各个站点智能体的状态空间；定义每个智能体中前视传感器的前视距离为其行动，前视传感器的可视范围构成行动集；优化目标为选择系统各站点在各个状态下应采取的最优前视距离，即最优控制策略，使得系统在该策略控制下长期运行的工件流失率最小或加工率最大；所述控制方法的主要技术是基于性能势理论和反应扩散思想，定义由反应项和扩散项构成的性能函数，并采用强化学习方法实现系统优化控制策略的在线求解和运行，所述优化控制方法的步骤为：