[发明专利]负载均衡方法和装置有效
| 申请号: | 202010983678.1 | 申请日: | 2020-09-18 |
| 公开(公告)号: | CN112118314B | 公开(公告)日: | 2023-05-05 |
| 发明(设计)人: | 李树毫;谢维柱;邢越 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
| 主分类号: | H04L67/1008 | 分类号: | H04L67/1008;H04L67/1042;G06F9/48;G06F9/50 |
| 代理公司: | 北京英赛嘉华知识产权代理有限责任公司 11204 | 代理人: | 王达佐;马晓亚 |
| 地址: | 100085 北京市*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 负载 均衡 方法 装置 | ||
本申请公开了负载均衡方法和装置,涉及云计算技术领域。具体实现方案为:获取集群内各节点的负载信息,其中,负载信息包括以下至少一项:硬盘负载、网络负载、CPU负载、内存负载和延迟负载;分别根据各节点的负载信息计算各节点的负载值;对于每个节点,根据该节点的负载值对该节点进行诊断,得到诊断结果;根据诊断结果进行处理。该实施方式在满足集群异构、热点数据场景同时,使集群负载具有更高的容错性,负载更加均匀。
技术领域
本申请涉及计算机技术领域,具体涉及云计算技术领域。
背景技术
分布式传输负载均衡方案是指在分布式传输系统中分区(Partition)如何在集群的节点(Broker)之间分配的策略。在实际业务中需要均衡节点的负载来提高系统的可用性。目前业界普遍采用轮询、一致性哈希、动态调度的方式解决负载均衡问题。
但轮询方式覆盖不了集群异构带来的节点性能差异场景。一致性哈希的方式中各Partition在调度中的权重是一样的,并没有考虑Partition其他指标(例如QPS和流量)的差异,且一致性哈希算法的映射关系我们无法干预和调节。动态调度的方式对于Partition的迁移没有量化,容易造成迁移过度或者迁移不足的情况,并且对于选盘的考虑因素单一,很容易出现硬盘IO瓶颈的情况。
发明内容
本公开提供了一种负载均衡方法、装置、设备以及存储介质。
根据本公开的第一方面,提供了一种负载均衡方法,包括:获取集群内各节点的负载信息,其中,负载信息包括以下至少一项:硬盘负载、网络负载、CPU负载、内存负载和延迟负载;分别根据各节点的负载信息计算各节点的负载值;对于每个节点,根据该节点的负载值对该节点进行诊断,得到诊断结果;根据诊断结果进行处理。
根据本公开的第二方面,提供了一种负载均衡装置,包括:获取单元,被配置成获取集群内各节点的负载信息,其中,负载信息包括以下至少一项:硬盘负载、网络负载、CPU负载、内存负载和延迟负载;计算单元,被配置成分别根据各节点的负载信息计算各节点的负载值;诊断单元,被配置成对于每个节点,根据该节点的负载值对该节点进行诊断,得到诊断结果;处理单元,被配置成根据诊断结果进行处理。
根据本公开的第三方面,提供了一种电子设备,其特征在于,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行第一方面中任一项的方法。
根据本公开的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,计算机指令用于使计算机执行第一方面中任一项的方法。
根据本申请的技术,在满足集群异构、热点数据场景同时,负载计算上进行了多维度考量,能够量化Partition迁移,对于Partition的迁移更精准;能够诊断出特殊场景,对于慢节点、高吞吐Partition、Broker内部硬盘负载不均、硬盘故障、集群过载情况进行针对处理使其不影响正常的负载均衡。使集群负载具有更高的容错性,负载更加均匀。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是本公开的一个实施例可以应用于其中的示例性系统架构图;
图2是根据本公开的负载均衡方法的一个实施例的流程图;
图3是根据本公开的负载均衡方法的又一个实施例的流程图;
图4是根据本公开的负载均衡方法的一个应用场景的示意图;
图5是根据本公开的负载均衡装置的一个实施例的结构示意图;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010983678.1/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种芯片加工用可调节的贴装一体机
- 下一篇:单光子源和QLED





