[发明专利]基于最短逻辑距离的虚拟Hadoop集群节点选择方法及装置

说明书

技术领域

本发明涉及一种虚拟Hadoop集群节点选择方法及装置，特别涉及一种基于最短逻辑距离的虚拟Hadoop集群节点选择方法，以及基于最短逻辑距离的虚拟Hadoop集群节点选择装置。

背景技术

随着云计算技术的飞速发展，传统的物理集群上运行的程序也逐渐向云计算环境下的虚拟机集群转移。大数据计算平台Hadoop便是典型代表，Hadoop平台部署到虚拟机集群具有很多优势：一、高效的资源利用率，多虚拟机共用一台物理机提升资源使用效率；二、快捷的动态部署，节点数可以在秒级时间内按需增减；三、动态资源调配，每个虚拟机节点的资源分配可以按需增减；四、高效的存储性能，计算时数据存储在本地磁盘，共用数据和不急需的数据存放在HDFS上，提升了数据存取速度。

然而，虚拟Hadoop集群的推广同时面临很多需要解决的性能问题，最具代表性的是网络开销问题，虚拟集群使得多台虚拟机部署到一台物理机上，每一台虚拟机承受和原有物理机同样的数据传输压力，使得物理机的网络传输压力是以前的数倍。因此，急需就减少物理机的网络传输压力进行进一步的研究。

发明内容

本发明针对现有技术中，缺乏针对网络传输压力，特别是针对虚拟Hadoop集群的网络优化方案的缺点，提供了一种基于最短逻辑距离的虚拟Hadoop集群节点选择方法及应用上述方法的装置。

为实现上述目的，本发明可采取下述技术方案：

基于最短逻辑距离的虚拟Hadoop集群节点选择方法，包括以下具体步骤：

1)应用Vivaldi网络坐标计算方法计算虚拟集群内每个虚拟机节点在Vivaldi网络坐标内所对应的虚拟坐标；

2)根据虚拟坐标计算虚拟机节点QUOTE V_i、QUOTE V_j之间的逻辑通信距离QUOTE LCD_i,j，其中，虚拟机节点QUOTE V_i、QUOTE V_j为虚拟集群内的任意两个虚拟机节点，QUOTE LCD_i,j＝||X_i-X_j||，QUOTE X_i为虚拟机节点QUOTE V_i在Vivaldi网络坐标内所对应的坐标向量，QUOTE X_j为虚拟机节点QUOTE V_j在Vivaldi网络坐标内所对应的坐标向量；

3)根据逻辑通信距离QUOTE LCD_i,j计算虚拟集群内任一虚拟机节点与虚拟集群内除该任一虚拟机节点以外的所有虚拟机节点的逻辑通信距离之和，记为总逻辑通信距离，选择总逻辑通信距离最短的虚拟机节点作为Master节点；

4)计算虚拟集群内虚拟机节点QUOTE V_i至Mapper节点QUOTE V_j的逻辑传输距离QUOTE LTD_i,j，其中，QUOTE V_i为虚拟集群内的任一虚拟机节点，Mapper节点QUOTE V_j为任一Mapper节点，k为QUOTE LCD_i,j以及与虚拟机节点QUOTE V_i相连接的交换机i的影响力因子，QUOTE S_i为与虚拟机节点QUOTE V_i相连接的交换机i的剩余传输能力，QUOTE S_total为所有与交换机i相连接的交换机的剩余传输能力之和，Mapper节点由虚拟Hadoop系统根据虚拟集群的规模和网络状态自动选取，最小个数为2个；

5)根据虚拟集群内虚拟机节点QUOTE V_i至Mapper节点QUOTE V_j的逻辑传输距离QUOTE LTD_i,j，分别计算集群内任一虚拟机节点至集群内除该任一虚拟机节点以外的其他虚拟机节点的逻辑传输距离之和，记为总逻辑传输距离，选择R个总逻辑传输距离最短的虚拟机节点作为Reducer节点，其中，根据用户的集群范围和运算量要求取不同的值，优选为1个或者不多于所有虚拟机节点数的1/2；

6)对虚拟集群进行监控，如果虚拟集群因为网络传输速率无法达到预定速率从而出现网络数据传输瓶颈，则重新开始步骤1)，选择新的Master节点以及Reducer节点，并将数据迁移至新的Master节点以及Reducer节点。