[发明专利]基于随机回报网的在线云服务尾延迟预测方法

说明书

本发明涉及在线服务性能评估领域，为实现预测在线云服务请求的响应时间的分布和尾延迟，以用于系统性能预测，动态容量配置，瓶颈识别。为此，本发明采用的技术方案是，基于随机回报网的在线云服务尾延迟预测方法，包括模型构建和响应时间累计分布计算两部分，模型构建通过分析用户请求经过服务器的处理过程，得到一个基于开环排队网络的随机回报网模型；响应时间累积分布求解通过模拟任意一个请求到达时系统所处状态以及该请求的吸收态来求该请求的响应时间从而得出请求响应时间的累计分布。本发明主要应用于在线服务性能评估。

技术领域

本发明涉及在线服务性能评估领域，具体讲,涉及基于随机回报网的在线云服务尾延迟预测方法。

背景技术

近年来，云计算市场迅速增长。大量企业应用程序，如社交网络、电子商务、视频流、电子邮件、网络搜索、MapReduce、Spark等，正在向云系统变迁。传统环境下，为保证用户体验质量，应用程序部署在数据中心的一个孤立的服务器集群上。为了提高云平台的资源利用率和节省成本，在同一物理服务器上部署不同的应用程序是一种新趋势。然而，应用程序部署在同一台服务器上会存在性能干扰，导致不可预测的性能和高尾延迟，严重影响用户体验质量甚至违反服务级别协议。在这种情况下，性能预测对维护用户体验质量有着关键作用。然而，干扰使云服务的性能预测面临挑战，尤其是对采用多层体系结构的云服务而言，因为在多层架构下，性能预测的错误可以跨层传播并具有级联效应。

在性能测试中，用户最关心的性能指标是响应时间。传统上以平均响应时间作为衡量在线服务处理能力的性能指标，而且计算平均响应时间的方法已成熟。但在云环境中，资源共享、多租户干扰和突发性工作负载会使响应时间分布存在长尾现象，使得响应时间的平均值无法真实反映系统服务水平，因此，使用响应时间分布或尾延迟能更好的刻画云端应用的处理能力。

目前存在一些模型用于计算闭环网络下的响应时间分布，如排队网络，马尔科夫链。排队网络没有一个统一的结构描述并发现象，马尔科夫链存在状态空间爆炸的情况。所有的计算方法基于闭环的网络，表示一个系统中拥有固定的客户数，现实中，系统中的客户数是随机的，客户的随机到达使得系统架构形成一个开环的网络。所以需要计算开环网络下的响应时间分布。

本发明根据在线服务的请求处理过程提出了基于随机回报网的开环网络模型，并根据模型实现了基于标签客户方法的响应时间分布求解方法来预测尾延迟。

发明内容

为克服现有技术的不足，本发明旨在实现预测在线云服务请求的响应时间的分布和尾延迟，以用于系统性能预测，动态容量配置，瓶颈识别。为此，本发明采用的技术方案是，基于随机回报网的在线云服务尾延迟预测方法，包括模型构建和响应时间累计分布计算两部分，模型构建通过分析用户请求经过服务器的处理过程，得到一个基于开环排队网络的随机回报网模型；响应时间累积分布求解通过模拟任意一个请求到达时系统所处状态以及该请求的吸收态来求该请求的响应时间从而得出请求响应时间的累计分布。

模型构建具体步骤如下：

1)确定模型的层数n，即为请求经过服务器处理的不同服务器类型总数；