[发明专利]代理服务器、分层次网络系统及分布式工作负载管理方法

权利要求书

1.一种代理服务器，包括：

速率控制器，被配置成基于测量到的请求相关信息和与请求的服务等级有关的服务质量参数，周期性地确定每个服务等级的请求的分派速率，其中各个服务等级的分派速率之和小于或等于预定速率；以及

请求分派器，被配置成按照由所述速率控制器确定的分派速率，分派对应服务等级的请求。

2.根据权利要求1所述的代理服务器，其中，测量到的请求相关信息是当前请求响应时间，而所述服务质量参数是对应服务等级的请求的目标响应时间和重要度。

3.根据权利要求1所述的代理服务器，其中，所述速率控制器使用效用函数来建立所述测量到的请求相关信息和与请求的服务等级有关的服务质量参数之间的关系，并且使用排队模型来建立所述测量到的请求相关信息和所述分派速率之间的关系，通过求解效用函数的最小值来获得对应服务等级的请求的分派速率。

4.根据权利要求1所述的代理服务器，其中，所述预定速率是由为所述代理服务器提供服务的应用服务器独立于所述代理服务器的信息确定的。

5.根据权利要求1所述的代理服务器，还包括：

请求分类器，被配置成接收来自客户端的请求，并将接收到的请求分到一个或多个服务等级中；和

队列模块，被配置成维护一个或多个请求队列，不同的请求队列对应于请求的不同服务等级。

6.一种分层次网络系统，包括：

如权利要求1-5中的任一项所述的代理服务器；以及

应用服务器，被配置成为所述代理服务器提供服务，包括：

资源检测器，被配置成周期性地检测所述应用服务器的资源的当前利用率和当前请求到达速率；

最大速率计算器，被配置成基于检测到的资源的当前利用率和当前请求到达速率以及所述资源的目标使用率，为下一管理周期计算请求的最大允许速率；以及

速率分配器，被配置成基于预定策略将所述最大允许速率分配给各个代理服务器作为其预定速率。

7.根据权利要求6所述的分层次网络系统，其中，所述预定策略是将所述最大允许速率平均分配给所述代理服务器。

8.根据权利要求6所述的分层次网络系统，其中，所述资源包括CPU利用率、存储器利用率、I/O和带宽中的一个或多个。

9.根据权利要求8所述的分层次网络系统，其中，在所述资源为CPU利用率时，所述最大速率计算器使用比例积分控制器技术来计算所述最大允许速率。

10.根据权利要求6所述的分层次网络系统，其中，所述代理服务器的计算周期和所述应用服务器的管理周期同步或不同步。

11.一种分层次网络系统中的分布式工作负载管理方法，包括：

基于测量到的请求相关信息和与请求的服务等级有关的服务质量参数，周期性地确定每个服务等级的请求的分派速率，其中各个服务等级的分派速率之和小于或等于预定速率；以及

按照所确定的分派速率，分派对应服务等级的请求。

12.根据权利要求11所述的方法，其中，测量到的请求相关信息是当前请求响应时间，而所述服务质量参数是对应服务等级的请求的目标响应时间和重要度。

13.根据权利要求11所述的方法，其中，所述周期性地确定每个服务等级的请求的分派速率的步骤包括：

使用效用函数来建立所述测量到的请求相关信息和与请求的服务等级有关的服务质量参数之间的关系，并且使用排队模型来建立所述测量到的请求相关信息和所述分派速率之间的关系，通过求解效用函数的最小值来获得对应服务等级的请求的分派速率。

14.根据权利要求11所述的方法，其中，所述预定速率是在所述分层次网络系统中由为代理服务器提供服务的应用服务器独立于所述代理服务器的信息确定的。

15.根据权利要求11所述的方法，还包括：

接收来自客户端的请求，并将接收到的请求分到一个或多个服务等级中；和

维护一个或多个请求队列，不同的请求队列对应于请求的不同服务等级。