[发明专利]一种非泊松工件流CSPS系统优化控制及仿真测试方法

权利要求书

1.一种非泊松工件流CSPS系统优化控制方法，所述系统为单站点CSPS系统，包括：匀速运动的传送带(1)、缓存库(2)、加工站(3)、成品库(4)、前视摄像头(5)、机械臂(6)以及工件(7)；由传送带(1)传送的工件(7)为非泊松工件流；其特征是：按如下步骤获得非泊松工件流CSPS系统的优化控制策略：

在所述单站点CSPS系统中，以MMPP模拟所述工件(7)的非泊松工件流到达过程，所述工件(7)的到达率随着马尔可夫Markov的状态转移而改变，在每个到达率的状态转移时刻，以新的到达率产生新工件；

在每个决策时刻，若缓存库(2)为空，由所述机械臂(6)实施捡取动作；若缓存库(2)为满，由所述机械臂(6)实施加工动作；若所述缓存库(2)为非空非满，此时前视距离内若存在有工件，且工件到达捡取点的时间为v_s所述机械臂(6)则等待其中的第一个工件到达捡取点并捡取工件(7)，随后进入下一决策时刻；前视距离内若无工件，所述机械臂(6)则选择为加工动作，加工时间为τ，在经过max(v_s,τ)的时间后，系统进入下一决策时刻，在机械臂(6)的加工动作过程中，若仍有工件到达，则任由工件流失；

针对以MMPP到达的工件流，按如下过程获得工件的平均到达率：

到达率状态转移过程服从Markov过程，MMPP到达率状态空间Φ为：Φ＝{1,2,…N}，N为到达率的个数，状态转移矩阵P如式(1)：

P_ij是到达率λ_n从状态i转移到状态j的概率，n∈Φ，i,j∈Φ；

逗留时间函数F(λ_n,t)为服从参数为的指数分布如式(2)，其中t为时间：

到达率λ_n在状态n的转移速率Λ_n为：由式(3)表征连续时间Markov过程的无穷小矩阵A，A_ij为无穷小矩阵A的组成元素，当i＝j时，A_ij＜0，当i≠j时，A_ij≥0，i,j∈Φ；

无穷小矩阵A满足：I是单位矩阵；

连续时间Markov过程的稳态分布π为：π＝(π₁,π₂,…,π_N)，且由式(4)获得：

则：工件的平均到达率由式(5)计算获得：

其中，π₁表示到达率状态1的稳态概率，π₂表示到达率状态2的稳态概率，π_N表示到达率状态N的稳态概率；

根据Q学习算法按如下方式获得系统控制策略：

设置MMPP的到达率λ_n、状态转移矩阵和逗留时间函数F(λ_n,t)中的转移速率产生非泊松到达的工件流；初始化Q值表并设置初始温度T和温度衰减因子ξ；

采用基于模拟退火的Q学习算法学习系统控制策略，并在系统决策时刻调用当前工件到达时刻；在学习过程中判断系统应该选择随机行动还是贪婪行动，不停更新Q值表，每学习R步后根据衰减因子ξ降低温度T，当满足算法终止条件时结束学习，获得系统控制策略。