[发明专利]面向多用户群的大数据分发策略

说明书

技术领域

本发明涉及一种面向多用户群的大数据分发策略。

背景技术

随着Internet的快速发展和业务量的不断提高，基于网络的数据访问流量迅速增长，特别是对数据中心、大型企业以及门户网站等的访问。同时，服务器网站借助HTTP、FTP等应用程序，为访问者提供了越来越丰富的内容和信息，服务器逐渐被数据淹没。

在海量大数据传输的计算机网络中，相对于网络技术的发展，服务器处理速度和内存访问速度的增长却远远低于网络带宽和应用服务的增长，网络带宽增长的同时带来的用户数量的增长，也使得服务器资源消耗严重，因而服务器成为了网络瓶颈。传统的单机模式，也往往成为网络故障点。

所有这些都对应用服务提出了高性能和高可靠性的需求。这其中最重要的两种技术是负载均衡技术和虚拟化技术。

负载均衡提供了一种廉价、有效、透明的方法扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力，提高网络的灵活性和可用性。

虚拟化技术可以扩大硬件的容量，简化软件的重新配置过程。随着近年多核系统、集群、网格甚至云计算的广泛部署，虚拟化技术在商业应用上的优势日益体现，不仅降低了IT成本，而且还增强了系统安全性和可靠性。

在面向多种用户群的系统中，往往不同用户群对服务器的资源需求是不一样的，而且这个需求是动态变化的，现有技术中往往存在某些用户群系统过载或者有些系统计算资源空闲的情况，无法快速地根据用户需求进行反应和调整，降低了负载均衡技术的实际效果，因此有必要研制一种可以弥补现有的负载均衡技术的新型数据分发方法。

发明内容

本发明针对现有技术无法根据不同用户对资源需求的动态变化进行实时调整，导致系统使用效率低下的缺点，提供了一种新型的面向多用户群的大数据分发策略。

为实现上述目的，本发明可采取下述技术方案：

面向多用户群的大数据分发策略，包括运行在物理服务器上的多个虚拟服务器以及虚拟机管理模块，多个虚拟服务器组成一个虚拟服务器集群，虚拟服务器集群内设置有主虚拟服务器，主虚拟服务器通过Paxos算法由虚拟服务器中选择得到；具体步骤如下：

1）在物理服务器上运行多个虚拟服务器组成虚拟服务器集群；

2）虚拟服务器产生自身的负载统计数据，在虚拟服务器集群的范围内同步所有虚拟服务器的负载统计数据；

3）虚拟服务器集群对本集群内的虚拟服务器的负载统计数据进行监控；

4）上述步骤3）中，如果虚拟服务器集群内空闲的虚拟服务器的数量超过阈值，则随机选择一个空想的虚拟服务器，从虚拟服务器集群内删除该虚拟服务器，通知虚拟机管理模块回收被删除的虚拟服务器至系统空闲虚拟服务器池内，所述空闲的虚拟服务器的利用率utl=0，利用率其中，Load为虚拟服务器的系统负载，Capacity为虚拟服务器的处理能力；

5）上述步骤4）中，如果虚拟服务器集群内虚拟服务器的利用率utl-Group大于阈值，且系统空闲虚拟服务器池不为空，则将一个系统空闲虚拟服务器池内的虚拟服务器移出至虚拟服务器集群内，利用率其中，为单个虚拟服务器的利用率，Load_i为虚拟服务器的系统负载，Capacity_i为虚拟服务器的处理能力，G为虚拟服务器集群内的虚拟服务器的数目；

6）虚拟服务器集群接收到用户的数据分发请求时，根据上述步骤4）所得虚拟服务器的利用率utl选择负载最低的虚拟服务器，并将数据分发请求发送至该负载最低的虚拟服务器处理。

作为优选，包括多个虚拟服务器集群，每个虚拟服务器集群内的虚拟服务器均位于同一物理服务器上。

作为优选，还包括监控模块，上述步骤3）中，由监控模块对虚拟服务器的负载统计数据进行监控，并提交给虚拟机管理模块。

作为优选，所述监控模块设置于虚拟服务器内；还包括以下具体步骤：上述步骤3）中，监控模块将监控得到的负载统计数据在虚拟服务器集群内的各个虚拟服务器之间进行同步传输，各个监控模块之间彼此进行在线检测，所述在线检测为，在1s的检测周期内，监控模块向非空闲的虚拟服务器发送一个连接请求，如果连续三个检测周期均未得到响应则该虚拟服务器失去网络连接；否则与该非空闲的虚拟服务器进行负载统计数据的同步传输。

作为优选，还包括以下具体步骤：当监控模块与主虚拟服务器失去网络连接后，通过Paxos算法重新选择主虚拟服务器，新的主虚拟服务器通知虚拟机管理模块回收旧的主虚拟服务器。