[发明专利]一种异构集群存储自适应数据负载的方法

说明书

技术领域

本发明涉及一种存储自适应数据负载的方法，属于计算机系统存储领域，具体地说是一种异构集群存储自适应数据负载的方法。 

背景技术

存储技术的发展是伴随着计算机技术的发展而发展的，也就是说，从计算机技术诞生之日起，人们就在为追求更高性能的存储系统而努力。在过去几十年，可以说是存储技术不断创新发展的年代，特别是最近二十年，集群存储系统呈现爆发式增长的趋势，出现了包括SAN、NAS、Lustre、HDFS、Ceph等各种各样的集群存储。集群存储架构在大规模企业应用架构、互联网、物联网、大数据、高性能计算领域有着旺盛的生命力和广阔的发展前景。 

然而，由于集群存储系统规模庞大，小到几十台存储服务器，大到上万台的规模，同时并发的用户数也很庞大，集群的负载均衡机制尤为重要。目前，数据的负载均衡策略不能有效地平衡数据的访问负载，而且在自适应上以及容错性上存在严重不足，特别是在异构的集群环境中，由于服务器之间的性能差距大，传统的负载均衡策略几乎是失效的。这样导致集群的利用率低效，未能发挥集群的最大性能。出于节约成本的考虑，大部分企业在构建大规模存储集群的时候，都会利用上闲置的或者以往购买的服务器，再添加新购买的服务器。这样就导致存储集群是异构的。在现有的负载均衡机制的基础上，提出一种自适应的分布式异构存储系统数据负载均衡机制就显得很必要了。 

发明内容

本发明针对现有技术存在的不足和问题，提供一种异构集群存储自适应数据负载的方法，用户在初始化系统时，向所有的存储服务器发送请求，获取其当前计算能力的配置信息，将其作为存储服务器的初始权值。在系统初始化时，存储服务器的计算能力等于其硬件的配置。系统运行一段时间内，存储服务器的权值根据实时信息调整后的值存储服务器返回最新的权值配置信息。要写某条数据时，根据自适应分布式的增量负载均衡方法决定该条数据写到哪个服务器上。当集群各个服务器之间负载差别很大时，动态的转移数据，用于平衡集群的负载。 

提出的具体方案是： 

一种异构集群存储自适应数据负载的方法，其特征是通过整合计算资源、网络资源、存储资源、用户请求数据的情况等各种实时的信息，实现整个分布式系统的负载均衡，具体步骤为：

①基本的负载的均衡，在系统初建时，根据节点的最大负载能力，将数据分布在集群的各个节点上；

②自适应分布式的增量负载的均衡，在系统运行时，实时地收集各个节点资源占用情况，自适应地、动态地调整数据分布情况；

③采用基于权重的hash方法，在系统初建时将数据的负载大小视为相同，把异构服务器的性能作为权重，在集群之间均衡地分布数据负载。

所述的数据负载是CPU、硬盘、网络的使用情况及新能参数。 

所述的步骤③根据更新的服务器性能再次使用基本的负载均衡算法重新调整负载的分布情况，使得负载能够重新公平的分布在服务器上。 

本发明的有益之处是：本发明提供一种异构集群存储自适应数据负载的方法适用于在高压力、高并发读写、多用户、异构的大规模分布式存储系统可以处理异构的数据负载，自适应地根据负载调整其在服务器之间的分布；根据服务器的性能来均衡负载，在大量增加数据时，根据基本的负载均衡算法的hash特性，新增数据负载仍能够均衡的分布在服务器之间；根据实时的负载情况，自适应地调整服务器的负载。 

具体实施方式

对本发明的内容以具体实例来描述实现的过程。 

用户在初始化系统时，向所有的存储服务器发送请求，获取其当前计算能力的配置信息，将其作为存储服务器的初始权值。在系统初始化时，存储服务器的计算能力等于其硬件的配置。系统运行一段时间内，存储服务器的权值根据实时信息调整后的值存储服务器返回最新的权值配置信息。要写某条数据时，根据自适应分布式的增量负载均衡方法决定该条数据写到哪个服务器上。当集群各个服务器之间负载差别很大时，动态的转移数据，用于平衡集群的负载。 

实施例1 

一种异构集群存储自适应数据负载的方法，通过整合计算资源、网络资源、存储资源、用户请求数据的情况等各种实时的信息，实现整个分布式系统的负载均衡，具体步骤为：

①基本的负载的均衡，在系统初建时，根据节点的最大负载能力，将数据分布在集群的各个节点上；

②自适应分布式的增量负载的均衡，在系统运行时，实时地收集各个节点资源占用情况，自适应地、动态地调整数据分布情况；