[发明专利]基于最短逻辑距离的虚拟Hadoop集群节点选择方法及装置

权利要求书

1.一种基于最短逻辑距离的虚拟Hadoop集群节点选择方法，其特征在于，包括以下具体步骤：

1)应用Vivaldi网络坐标计算方法计算虚拟集群内每个虚拟机节点在Vivaldi网络坐标内所对应的虚拟坐标；

2)根据虚拟坐标计算虚拟机节点QUOTE V_i、QUOTE V_j之间的逻辑通信距离QUOTE LCD_i,j，其中，虚拟机节点QUOTE V_i、QUOTE V_j为虚拟集群内的任意两个虚拟机节点，QUOTE LCD_i,j＝||X_i-X_j||，QUOTE X_i为虚拟机节点QUOTE V_i在Vivaldi网络坐标内所对应的坐标向量，QUOTE X_j为虚拟机节点QUOTE V_j在Vivaldi网络坐标内所对应的坐标向量；

3)根据逻辑通信距离QUOTE LCD_i,j计算虚拟集群内任一虚拟机节点与虚拟集群内除该任一虚拟机节点以外的所有虚拟机节点的逻辑通信距离之和，记为总逻辑通信距离，选择总逻辑通信距离最短的虚拟机节点作为Master节点；

4)计算虚拟集群内虚拟机节点QUOTE V_i至Mapper节点QUOTE V_j的逻辑传输距离QUOTE LTD_i,j，其中，QUOTE V_i为虚拟集群内的任一虚拟机节点，Mapper节点QUOTE V_j为任一Mapper节点，QUOTEk为QUOTE LCD_i,j以及与虚拟机节点QUOTE V_i相连接的交换机i的影响力因子，QUOTE S_i为与虚拟机节点QUOTE V_i相连接的交换机i的剩余传输能力，QUOTE S_total为所有与交换机i相连接的交换机的剩余传输能力之和；

5)根据虚拟集群内虚拟机节点QUOTE V_i至Mapper节点QUOTE V_j的逻辑传输距离QUOTE LTD_i,j，分别计算集群内任一虚拟机节点至集群内除该任一虚拟机节点以外的其他虚拟机节点的逻辑传输距离之和，记为总逻辑传输距离，选择R个总逻辑传输距离最短的虚拟机节点作为Reducer节点；

6)对虚拟集群进行监控，如果虚拟集群因为网络传输速率无法达到预定速率从而出现网络数据传输瓶颈，则重新开始步骤1)，选择新的Master节点以及Reducer节点，并将数据迁移至新的Master节点以及Reducer节点。

2.根据权利要求1所述的基于最短逻辑距离的虚拟Hadoop集群节点选择方法，其特征在于，步骤2)中，使用欧式距离计算任意两个虚拟机节点之间的逻辑通信距离QUOTE LCD_i,j。

3.根据权利要求1所述的基于最短逻辑距离的虚拟Hadoop集群节点选择方法，其特征在于，步骤5)中，还包括以下具体步骤：对虚拟机节点的总逻辑传输距离进行升序排序，选择前R个虚拟机节点作为Reducer节点。

4.根据权利要求1所述的基于最短逻辑距离的虚拟Hadoop集群节点选择方法，其特征在于，步骤6)中，如果虚拟集群因为网络数据传输瓶颈而无法满足SLA时，则重新开始步骤1)。

5.一种基于最短逻辑距离的虚拟Hadoop集群节点选择装置，其特征在于，包括：

逻辑通信距离计算器：逻辑通信距离计算器应用Vivaldi网络坐标计算方法计算虚拟集群内每个虚拟机节点在Vivaldi网络坐标内所对应的虚拟坐标；

Master节点选择器：Master节点选择器根据虚拟坐标计算虚拟机节点QUOTE V_i、QUOTE V_j之间的逻辑通信距离QUOTE LCD_i,j；

逻辑传输距离计算器：逻辑传输距离计算器根据逻辑通信距离QUOTE LCD_i,j计算任意虚拟机节点与其他所有虚拟机节点的逻辑通信距离之和，并选择总逻辑通信距离最短的虚拟机节点作为Master节点；

Reducer节点选择器：Reducer节点选择器计算虚拟集群内虚拟机节点QUOTE V_i至Mapper节点QUOTE V_j的逻辑传输距离QUOTE LTD_i,j；

集群性能监控器：集群性能监控器对虚拟集群进行监控，如果虚拟集群因为网络传输速率无法达到预定速率从而出现网络数据传输瓶颈，则重新开始步骤1)，选择新的Master节点以及Reducer节点，并将数据迁移至新的Master节点以及Reducer节点。