[发明专利]基于随机回报网的在线云服务尾延迟预测方法

权利要求书

1.一种基于随机回报网的在线云服务尾延迟预测方法，其特征是，包括模型构建和响应时间累计分布计算两部分，模型构建通过分析用户请求经过服务器的处理过程，得到一个基于开环排队网络的随机回报网模型；响应时间累积分布求解通过模拟任意一个请求到达时系统所处状态以及该请求的吸收态来求该请求的响应时间从而得出请求响应时间的累计分布，所述系统所处状态即系统初始状态模型，请求的吸收态表示该请求处理完成；响应时间累积分布求解具体步骤是：

一、标签客户模型的建立

1)在原模型的基础上去掉到达变迁T_arri，并为库所P_{R_i}，P_{Q_i}，P_{S_i}的令牌数赋予初始值c_i，s_i，q_i表示任意一个请求到达时系统的状态，即系统初始状态模型；

2)当任意一个请求到达系统时，为其建立一个单独的模型，该模型和初始状态模型相互制约，在原模型的基础上使用含有一个令牌的库所P_tag替代变迁T_arri表示任意一个请求的到达，把该请求看做标签请求，该标签请求到达时，系统处于初始状态；每一层模型在原模型的基础上去掉库所P_{R_i}，模型运行时，只有初始状态模型中某一层等待队列小于队列容量时，标签请求才能进入该层等待处理；只有初始状态模型中某一层等待队列为0并且能够处理的请求数没有达到最大值时，该标签请求在该层才能开始接受处理；请求在第n层处理完成后进入吸收态，使用库所Pt_fin表示，当库所Pt_fin中的令牌数不为0时，表示该请求处理完成，进入吸收态；

3)由前两步可得，模型的输入为：每层队列现有的资源数即能够处理的最大请求数C_i，等待队列的长度q_i，正在接受服务的请求数s_i，第i层服务器的请求处理速率μ_i；

二、响应时间累积分布的计算

1)列出任意一个请求到达时系统可能出现的所有初始状态m0∈T，状态用标签客户数，每层服务器正在处理的请求数，排队数以及当前支持的请求连接数组成的向量[1,s₁,q₁,c₁,s₂,q₂,c₂…s_n,q_n,c_n]表示，所有状态的概率之和Σπ_m0＝1；

2)通过稳定状态下系统处于上述状态的概率求出任意一个请求到达时系统所处状态的概率P_m0＝π_m0；

3)定义一个回报函数r_m0(t)表示在初始状态m0下t时刻标签客户是否到达吸收态；

#((Pt_fin),t)表示t时刻库所中的令牌数，通过该回报函数可以求出在初始状态m0下t时刻标签客户到达吸收态的概率R_m0(t)；

4)通过求不同初始状态下t时刻标签客户到达吸收态的概率，得到t时刻请求被吸收的概率，通过求不同时刻请求吸收的概率，得到响应时间的累计分布函数：

R(t)＝∑[R_m0(t)×π_m0],m0∈T

5)通过得到不同时刻请求吸收的概率，得到相应分位的尾延迟；

其中，模型构建具体步骤如下：

1)确定模型的层数n，即为请求经过服务器处理的不同服务器类型总数；

2)每类服务器的请求处理过程即一层可以表示成一个并发的队列，每层可以有一个或多个服务器，假设一层有m个服务器，一个服务器可以同时处理多个请求，当请求到达服务器时，如果服务器正在处理的请求数没有达到自身所能处理的最大请求数请求立即接受服务器的处理，其中C_ij为第i层第j个服务器能够处理的最大请求数，反之，需要排队等待，若等待队列长度q_i已达上限容量则该请求被拒绝，Q_ij为第i层第j个服务器的等待队列容量；每一层模型架构用随机回报网由四个库所和四个变迁组成，四个库所分别为P_{R_i}，P_{Q_i}，P_{S_i}，P_{trans_i_i+1}，其中库所P_{R_i}表示第i层的资源处于可用状态，库所P_{R_i}中的令牌数有初始值c_i，即可用资源数，即每层服务器一次能够处理的请求连接的总数，库所P_{S_i}表示第i层正在接受服务，库所P_{Q_i}表示第i层请求正在等待接受服务，库所P_{trans_i_i+1}表示请求在第i层处理完成，转向第i+1层，四个变迁为t_{trans_i_i+1}，t_{s_i}，T_{S_i}，t_{drop_i_0}，t_{trans_i_i+1}，t_{s_i}，t_{drop_i_0}为瞬时变迁，T_{S_i}为延时变迁，其中变迁t_{trans_i_i+1}表示请求从第i层到达第i+1层，变迁t_{s_i}表示请求接受服务，变迁T_{S_i}表示请求接受处理的过程，变迁t_{drop_i_0}表示请求被丢弃因为第i+1层的等待队列长度q_i等于等待队列的最大容量Q_i，变迁T_{S_i}的发生是依赖于库所P_{S_i}的，表示一个请求并发处理的过程，变迁T_{S_i}的发生率等于库所P_{S_i}的令牌数k乘以该层服务器处理一个请求的速度μ_i，在模型中，当请求到达任意一层时，如果库所P_{Q_i}中的令牌数小于Q_i，则库所P_{Q_i}中的令牌数加1，表示请求连接建立成功；

3)根据服务器处理请求的顺序将每层单独的队列连成一个排队网络，前一层服务器的处理队列的输出是后一层服务器处理队列的输入，第一层服务器的处理队列有一个来自用户请求从客户端到达服务器端的过程，请求到达过程满足以λ为参数的泊松分布，每层队列可以接受请求，也可以根据等待队列容量拒绝请求，这里用变迁T_arri表示请求到达服务器端，库所P_{trans_i_i+1}表示层与层之间的交互，既可以表示上一层的输出，也可以表示下一层的输入，变迁t_{drop_i_0}表示请求被丢弃，因为第i+1层的等待队列长度q_i等于等待队列的最大容量Q_i，变迁t_{trans_i_i+1}表示请求由第i层到达第i+1层；

4)由以上三步确定模型的输入：每层队列的资源数C_i，等待队列的长度q_i，请求到达服务器端的速率λ，第i层服务器的请求处理速率μ_i；并且所有的延时变迁服从指数分布；

5)由2)-4)步确定模型相关实施函数如表1所示，实施函数为变迁发生的条件函数，其中#(P)表示库所P中的令牌数量，函数取值为1表示执行该变迁，取值为0表示不执行该变迁：

表1

6)变迁T_arri及t_{trans_i_i+1}表示请求到达队列，并且只有对应等待队列未满时变迁才会发生，如果变迁T_arri或t_{trans_i_i+1}发生，则库所P_{Q_i+1}中的令牌加1，表示请求已建立连接并等待处理；如果库所P_{Q_i}中有一个令牌并且库所P_{R_i}中的令牌至少有一个时，则变迁t_{s_i}发生，库所P_{S_i}中的令牌数加1，库所P_{Q_i}和P_{R_i}中的令牌数减1，表示请求接受处理；变迁T_{S_i}表示请求正在接受处理的过程，它的实际发生率等于服务速率乘以正在接受处理的请求数；变迁T_{S_i}发生后，一个令牌从库所P_{S_i}转移到P_{trans_i_i+1}表示请求在第i层处理完成；

7)服务器间是逐层调用相应功能的，在一层处理完后，结果会返回上一层，当上一层服务器收到下层请求处理完成的信息后请求与该下层服务器的连接才会断掉，即所有资源的释放在最后一层服务器处理完，从迁移T_{S_l}到库所P_{R_i}的弧表示资源的释放，i＝1，2，…，n，这意味着库所P_{R_i}的令牌数加1。