[发明专利]流量可控的集群部署配置系统与方法

说明书

技术领域

本发明属于计算机网络领域，具体涉及一种流量可控的集群部署配置系统与方法。

背景技术

大型互联网公司，政府机构，超级计算中心因自身业务需要，拥有大量服务器节点，构成了众多庞大的集群。随着自身业务的不断发展，服务器集群规模仍在不断扩大。在集群的扩大和运维期间，服务器节点上的操作系统安装，应用程序部署，配置文件分发是十分频繁的。而这些频繁的配置、维护、部署操作带来了大量集群间的文件传输操作，这些操作往往会占用很大部分网络带宽，甚至影响到集群自身的业务功能。

基于以上问题，急需要构建一种流量可控的集群部署配置框架，使得集群中服务器节点的系统部署，程序分发等操作对网络的压力控制在任意范围以内，从而不对集群网络的正常使用造成影响。

现有的集群部署及集群配置工具和系统均将重心放在配置维护的自动化上，而对网络的压力考虑较少，因此主要存在以下几个问题：

流量控制被忽视。集群运维中的数据传输一直是占用网络的重要部分，如果集群正在使用或正在提供网络服务，这些运维过程中的网络占用往往会对应用造成不小的影响，所以大多数集群部署配置操作需要暂停集群内的应用。因此需要解决运行期的集群部署配置对网络带宽占用的控制问题。

流量控制方案不灵活。集群运维期间的数据内容差异很大，主要来自集群服务器操作系统部署过程中的镜像、集群软件安装中的软件包、集群配置中的文件等等。而且传输方式差异较大。因此缺少一种灵活的流量控制方案，能够针对数据传输的内容、数据传输的方式进行灵活的配置。

发明内容

为克服上述缺陷，本发明提供了一种流量可控的集群部署配置系统与方法，在集群的部署及配置过程中引入流量控制机制，提高网络资源利用率；而且，将多种数据传输及对应限速方式进行整合，提供统一配置入口，方便灵活选择及配置。

为实现上述目的，本发明提供一种流量可控的集群部署配置系统，包括：管理服务器和分别接收其文件的各个客户服务器，其改进之处在于，所述管理服务器包括：限速配置单元和与其通信的数据传输单元。

本发明提供的优选技术方案中，所述限速配置单元，包括：依次设置的传输方式选择模块和限速配置模块。

本发明提供的第二优选技术方案中，所述传输方式选择模块，根据向各个客户服务器传输文件的异同，选择bt方式或者rsync方式对文件进行传输；其中，当管理服务器向各个客户服务器传输相同文件时，采用bt方式传输；当管理服务器向各个服务器传输不同文件时，采用rsync方式传输。

本发明提供的第三优选技术方案中，所述限速配置模块，根据限速配置策略对传输的数据进行限速。

本发明提供的第四优选技术方案中，限速配置策略包括：(1).限制数据发送端最大发送速率；(2).限制数据接收端最大接收速率。

本发明提供的第五优选技术方案中，所述数据传输单元，根据所述限速配置单元配置好的传输方式以及限速策略对数据进行限速传输。

本发明提供的第六优选技术方案中，所述数据传输单元采用bt传输，提供两种限速模式：

模式1：创建限定速率的数据种子；根据限制速率，动态生成传输文件的限速种子，其中创建种子时通过max upload rate参数实现对传输的速率限制；

模式2：通过客户服务器的防火墙配置实现速率的控制，通过增加iptableslimit和burst参数配合完成。

本发明提供的第七优选技术方案中，所述数据传输单元采用rsync传输，通过对bwlimit的参数配置，进行流量控制。

本发明提供的第八优选技术方案中，提供一种流量可控的集群部署配置方法，其改进之处在于，所述方法包括如下步骤：

(a).选择文件传输方式；

(b).选择是否进行传输限速，如果选择限速，进入步骤c，否则进入步骤e；

(c).根据传输方式选择限速方式；

(d).配置限速值和目标速率；

(e).镜像或配置文件传输；

(f).完成镜像或配置文件的传输，开始具体的部署或配置。

本发明提供的第九优选技术方案中，在所述步骤a中，传输方式包括：bt传输方式和rsync传输方式。

本发明提供的第十优选技术方案中，在所述步骤c中，根据传输方式选择限速方式，如果是bt方式，则可选择防火墙限速和种子限速，如果是rsync方式传输，则通过rsync自身限速方式。