[发明专利]一种基于节点计算能力的分布式数据负载均衡方法和系统

说明书

技术领域

本发明涉及分布式存储和分布式计算技术领域，尤其涉及一种基于节点计算能力的分布式数据负载均衡方法和系统。

背景技术

目前，常见的分布式数据均衡方式包括基于部署结构(如Hadoop系统中基于rack的均衡方式)进行数据均衡，基于磁盘存储容量进行数据均衡的方式，以及基于使用频度的进行数据均衡的方式。

基于部署结构和磁盘存储容量的数据均衡方式，其主要目标是让数据在物理介质上分布更加均匀。两种方式好坏的评价指标是各个分布式节点上数据量的差异，例如采用数据文件存储大小的均值方差作为评价指标。但这两种均衡方式的一个明显缺陷是不能准确反映计算状况，比如分布在各个节点的一组数据文件，代表了不同年月或者不同区域的数据，在使用频度上存在明显差异，如果仅仅按照上述方式做数据均衡，会导致计算处理时的数据倾斜。为解决这个问题，后来出现了以下改进方案，即基于数据使用频度进行数据均衡分布。不过这种方案也存在一定的局限性，没有考虑不同节点的计算处理能力，容易在计算能力弱的存储节点上出现性能瓶颈。另外，随着越来越多的分布式数据处理产品面向实时计算，基于节点计算能力的数据均衡分布显得尤为重要。但由于计算能力和计算类型相关性较高，要做到计算能力的准确评估有一定难度。因此，有必要提供一种数据负载均衡方法，解决现有技术中没有充分考虑节点计算能力，使得数据的分布和节点的真实处理能力不匹配的问题。

发明内容

鉴于上述的分析，本发明旨在提供一种基于节点计算能力的分布式数据负载均衡方法和系统，用以解决现有分布式计算处理过程中，因在某个节点上因为数据分布不均衡而导致节点出现性能瓶颈的问题。

本发明的目的主要是通过以下技术方案实现的：

提供一种基于节点计算能力的分布式数据负载均衡方法，包括步骤：

S1.获取各存储节点的计算能力参数；

S2.基于获取到的计算能力参数，进一步计算各存储节点的实际处理能力；

S3.按照实际处理能力对数据进行均衡分布。

其中，所述获取计算能力参数包括获取各个存储节点的静态参数和动态参数的步骤。

所述静态参数采用打分的形式进行表示，在静态参数有多个时，根据静态参数的类型赋予不同类型静态参数一个权重，通过加权计算，获得存储节点的静态处理能力的表征分数值。

所述动态参数是通过基准性能测试得出。

所述实际处理能力的计算方法为：将静态参数和动态参数进行加权。

所述按照实际处理能力对数据进行均衡分布具体是基于实际处理能力的比值关系。

进一步的，步骤S3包括：

根据各存储节点的实际处理能力，按实际处理能力的比值估算各个存储节点的目标数；

计算每一个存储节点的balance因数；

根据balance因数，进行存储节点之间数据文件的初步移动；

完成初步移动后，重新计算各个存储节点的balance因数，并根据balance因数进行存储节点之间的数据文件移动；

重复进行上述balance因数计算和数据移动，当满足终止条件时，则终止数据移动，部署内各存储节点实现了均衡分布。

优选的，所述终止条件是：∑(Bi)/N＜K，其中，N为节点总数，i表示存储节点，K为可配置的常量，B为balance因数。

本发明还提供一种采用上述分布式数据负载均衡方法实现数据负载均衡的系统，包括：数据源、文件分发器、至少一个存储节点、信息收集器、规则引擎。

其中，数据源提供需要存储的数据。

文件分发器，用于按照从规则引擎中获得的数据移动策略，将数据文件分发到各存储节点。

数据存储节点存储数据文件，并将存储节点的处理参数反馈给信息收集器。

信息收集器接受存储节点反馈的参数信息，并转发给规则引擎。

规则引擎根据所述分布式数据负载均衡方法，确定数据移动策略并发送给文件分发器。

所述数据移动策略包括了确定进行数据移动的存储节点和数据移动量。

本发明有益效果如下：

本方法和系统通过引入动态参数和balance因数，使得集群能依据存储节点自身的处理能力，实现集群内节点数据的自动均衡，数据分布能够和节点处理能力相匹配，从而提高了集群整体的运算处理能力，让各节点的处理能力能得到对应发挥，并进一步实现了对集群内部的节点的性能监控，根据节点的性能变化对应做出数据分布调整，提高了集群整体的性能和应变能力。