[发明专利]一种非泊松工件流CSPS系统优化控制及仿真测试方法

摘要

本发明公开了一种非泊松工件流CSPS系统优化控制及仿真测试方法，其特征是：用马尔可夫调制泊松过程MMPP模拟非泊松到达过程，获得非泊松工件流CSPS系统优化控制策略；在相同的理论平均到达率下，测试非泊松工件流CSPS系统优化控制策略；在工件非泊松到达情况下，以统计平均到达率作为工件标准泊松到达率，测试非泊松工件流CSPS系统优化控制策略。本发明能在工件非泊松到达，CSPS系统无法建立为SMDP模型情况下，获得系统优化控制策略并测试Q学习算法的适用性。

主权项

1.一种非泊松工件流CSPS系统优化控制，所述系统为单站点CSPS系统，包括：匀速运动的传送带(1)、缓存库(2)、加工站(3)、成品库(4)、前视摄像头(5)、机械臂(6)以及工件(7)；由传送带(1)传送的工件(7)为非泊松工件流；其特征是：按如下步骤获得非泊松工件流CSPS系统的优化控制策略：在所述单站点CSPS系统中，以MMPP模拟所述工件(7)的非泊松工件流到达过程，所述工件(7)的到达率随着马尔可夫Markov的状态转移而改变，在上一到达率状态转移时刻以下一到达率产生新工件；在每个决策时刻，若缓存库(2)为空，由所述机械臂(6)实施捡取动作；若缓存库(2)为满，由所述机械臂(6)实施加工动作；若所述缓存库(2)为非空非满，此时前视距离vs内若存在有工件，所述机械臂(6)则等待其中的第一个工件到达捡取点并捡取工件(7)，随后进入下一决策时刻；前视距离内若无工件，所述机械臂(6)则选择为加工动作，加工时间为τ，在经过max(vs,τ)的时间后，系统进入下一决策时刻，在机械臂(6)的加工动作过程中，若仍有工件到达，则任由工件流失；针对以MMPP到达的工件流，按如下过程获得工件的平均到达率：到达率状态转移过程服从Markov过程，MMPP到达率状态空间Φ为：Φ＝{1,2,…N}，N为到达率的个数，状态转移矩阵P如式(1)：Pij是到达率λn从状态i转移到状态j的概率，n∈Φ，i,j∈Φ；逗留时间函数F(λ_n,t)为服从参数为的指数分布如式(2)，其中t为时间：到达率λ_n在状态n的转移率Λ_n为：由式(3)表征连续时间Markov链的无穷小矩阵A，A_ij为无穷小矩阵A的组成元素，当i＝j时，A_ij＜0，当i≠j时，A_ij≥0，i,j∈Φ；矩阵A满足：I是单位矩阵；连续时间Markov过程的稳态分布π为：π＝(π1,π2,…πN)，且由式(4)获得：则：工件的平均到达率由式(5)计算获得：根据Q学习算法按如下方式获得系统控制策略：设置MMPP的到达率参数、状态转移矩阵和逗留时间函数参数，产生非泊松到达的工件流；初始化Q值表并设置初始温度T、Boltzmann常数K和温度衰减因子ξ；采用基于模拟退火的Q学习算法学习系统控制策略，并在系统决策时刻调用当前工件到达时刻；在学习过程中判断系统应该选择随机行动还是贪婪行动，不停更新Q值表，每学习R步后根据衰减因子ξ降低温度T，当满足算法终止条件时结束学习，获得系统控制策略。