[发明专利]一种确定云平台中最优通信代理节点数目的方法

说明书

技术领域

本发明涉及云平台大数据处理。

背景技术

基于云平台的大数据处理集群由于其弹性可伸缩的计算框架以及“按需获取”的新型业务模式正逐渐的被工业界采纳。

从OpenStack Grizzly版开始，为了改善虚拟网络的性能和可靠性，可以允许租户在多主机上部署通信代理节点。但是，虚拟网络组件Neutron只实现了虚拟网络的通信功能，并没有进一步关注虚拟网络通信性能的提升。也就是说，没有提供有效的通信代理节点部署分配策略。而针对基于OpenStack的Hadoop集群，我们需要如何去设计通信代理分配策略来优化虚拟网络的性能以提升集群大数据处理的能力是我们亟需解决的问题。具体来说，就是为基于OpenStack的虚拟网络优化部署提供解决方案，而其中一个关键问题就是要确定云平台中最优通信代理节点的数目。

发明内容

本发明的目的是解决现有技术没有确定云平台中最优通信代理节点的数目的问题。

为实现本发明目的而采用的技术方案是这样的，一种确定云平台中最优通信代理节点数目的方法，构建一个包括一台控制节点服务器和若干台计算节点服务器的云平台，每一台所述的计算节点服务器上构建若干台虚拟机。所述云平台基于OpenStack Havana版搭建。在所述云平台的服务器上构建若干个通信代理节点，所述通信代理节点用于管理虚拟机。

所述通信代理节点的数目k通过以下步骤确定：

1)map阶段(分发处理阶段)总耗时：

其中，代表map阶段总耗时，m代表计算节点服务器的数量，n_i代表第i号计算节点服务器上虚拟机的数量，代表map阶段第i台计算节点服务器上第j个虚拟机耗时，N代表在MapReduce进程(大数据处理进程)中可用的虚拟机数量，S代表map阶段稳态时，固定时间段内输入云平台的数据总大小的期望，B代表任意两个计算节点服务器之间传输1GB数据所需时间，μ_ij代表第i号计算节点服务器上的第j台虚拟机当前的处理能力，μ_total代表当前云平台中所有虚拟机的性能总和，k代表云平台中通信代理节点的数目，N_a代表构建在有通信代理的服务器上的虚拟机数量之和。

2)Reduce阶段(合并处理阶段)总耗时：

其中：代表reduce阶段总耗时，m代表计算节点服务器的数量，n_i代表第i号计算节点服务器上虚拟机的数量，代表reduce阶段第i台计算节点服务器上第j个虚拟机耗时，N代表在MapReduce进程(大数据处理进程)中可用的虚拟机数量，S_r代表reduce阶段稳态时，固定时间段内输入的数据总大小的期望，n_r处理reduce阶段数据的虚拟机的数量，B代表任意两个计算节点服务器之间传输1GB数据所需时间，k代表云平台中通信代理节点的数目，μ_total代表当前云平台中所有虚拟机的性能总和，N_a代表构建在有通信代理的服务器上的虚拟机数量之和。

3)MapReduce进程(大数据处理进程)过程耗时的表达式：

4)根据T_total的表达式，求解获得云平台中最优的通信代理节点数目的表达式：

本发明的技术效果是毋庸置疑的。基于上述方法，为基于OpenStack的虚拟网络优化部署提供了解决方案，解决了其中一个关键问题--确定云平台中最优通信代理节点的数目。

附图说明

图1为云平台大数据处理流程示意图。

图2为最优通信代理节点的数目确定流程图。

图3为实施例2的实验效果。

图4为实施例3的实验效果。

具体实施方式

下面结合附图和实施例对本发明作进一步说明，但不应该理解为本发明上述主题范围仅限于下述实施例。在不脱离本发明上述技术思想的情况下，根据本领域普通技术知识和惯用手段，做出各种替换和变更，均应包括在本发明的保护范围内。

实施例1：