[发明专利]一种基于节点计算能力的分布式数据负载均衡方法和系统在审
申请号: | 201711210991.6 | 申请日: | 2017-11-24 |
公开(公告)号: | CN107707680A | 公开(公告)日: | 2018-02-16 |
发明(设计)人: | 邵文龙;席小丁;何春涛 | 申请(专利权)人: | 北京永洪商智科技有限公司 |
主分类号: | H04L29/08 | 分类号: | H04L29/08 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 100020 北京市朝阳*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 节点 计算 能力 分布式 数据 负载 均衡 方法 系统 | ||
1.一种基于节点计算能力的分布式数据负载均衡方法,其特征在于,包括步骤:
获取各存储节点的计算能力参数;
基于获取到的计算能力参数,进一步计算各存储节点的实际处理能力;
按照实际处理能力对数据进行均衡分布。
2.根据权利要求1所述的分布式数据负载均衡方法,其特征在于,所述获取计算能力参数包括获取各个存储节点的静态参数和动态参数的步骤。
3.根据权利要求2所述的分布式数据负载均衡方法,其特征在于,所述静态参数采用打分的形式进行表示,在静态参数有多个时,根据静态参数的类型赋予不同类型静态参数一个权重,通过加权计算,获得存储节点的静态处理能力的表征分数值。
4.根据权利要求2所述的分布式数据负载均衡方法,其特征在于,所述动态参数是通过基准性能测试得出。
5.根据权利要求2所述的分布式数据负载均衡方法,其特征在于,所述实际处理能力的计算方法为:将静态参数和动态参数进行加权。
6.根据权利要求2所述的分布式数据负载均衡方法,其特征在于,所述按照实际处理能力对数据进行均衡分布具体是基于实际处理能力的比值关系。
7.根据权利要求6所述的分布式数据负载均衡方法,其特征在于,所述按照实际处理能力对数据进行均衡分布,具体包括:
根据各存储节点的实际处理能力,按实际处理能力的比值估算各个存储节点的目标数;
计算每一个存储节点的balance因数;
根据balance因数,进行存储节点之间数据文件的初步移动;
完成初步移动后,重新计算各个存储节点的balance因数,并根据balance因数进行存储节点之间的数据文件移动;
重复进行上述balance因数计算和数据移动,当满足终止条件时,则终止数据移动,部署内各存储节点实现了均衡分布。
8.根据权利要求7所述的分布式数据负载均衡方法,其特征在于,所述终止条件是:∑(Bi)/N<K,其中,N为节点总数,i表示存储节点,K为可配置的常量,B为balance因数。
9.一种采用权利要求1-8之一所述的分布式数据负载均衡方法实现数据负载均衡的系统,其特征在于,包括:数据源、文件分发器、至少一个存储节点、信息收集器、规则引擎;
其中,
数据源提供需要存储的数据;
文件分发器,用于按照从规则引擎中获得的数据移动策略,将数据文件分发到各存储节点;
数据存储节点存储数据文件,并将存储节点的处理参数反馈给信息收集器;
信息收集器接受存储节点反馈的参数信息,并转发给规则引擎;
规则引擎根据所述分布式数据负载均衡方法,确定数据移动策略并发送给文件分发器。
10.根据权利要求9所述的实现数据负载均衡的系统,其特征在于,所述数据移动策略包括确定进行数据移动的存储节点和数据移动量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京永洪商智科技有限公司,未经北京永洪商智科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711210991.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种工业相机触发性能的测试系统
- 下一篇:一种多摄像头测试显示系统