[发明专利]分布式存储系统的动态负载均衡方法

说明书

技术领域

本发明涉及分布式存储系统，具体涉及非对称分布式存储系统的动态负载均衡方法。

背景技术

随着云计算技术的发展，云数据中心中的计算服务器的数量越来越多，保存处理的数据量越来越多，存储的负载越来越重。传统的分布式存储系统如SAN(存储域网)和单独的NAS(网络附加存储)已经没有办法轻松的应对云计算和大数据对存储容量，存储带宽的需求了。随之而产生了多种多样的分布式存储系统，共享型分布式存储系统和非共享型分布式存储系统就是其中最为主要的两种分布式存储系统。多样的分布式存储系统一般是要解决两个问题：1.容量的扩充，2.性能的扩充。目前的分布式存储系统，都是依托于硬件的基础上，实现一个硬件集群，但是，这些集群方案仅根据分布式存储系统中的单一资源来分配任务请求，而且不能根据需要实现灵活的配置，造成集群中一些平台的资源浪费，降低了分布式存储系统的处理能力，使得分布式存储系统不能做出正确的分配决策。

为此，申请号为201010002264.2的发明专利，公开了一种实现负载均衡的方法、负载均衡服务器以及集群系统，其中，实现负载均衡的方法主要包括如下过程：负载均衡服务器采用MINA的点对点的模式来接收任务请求，根据负载均衡策略和至少两个子节点分别发送的各种资源信息确定处理所述任务请求的子节点，其中包括根据配置的最小资源处理数算法和所述各种资源信息确定出处理所述任务请求的子节点，具体而言，包括为所述至少两个子节点中的各个子节点设置节点权值，为所述各种资源信息中的每一种资源信息设置资源值和资源负载权值，对所述各个子节点中的每一个子节点按如下处理得到各个子节点各自的负载值：分别对该子节点的每一种资源信息的资源值和资源负载权值做乘积处理得到第一结果值，将各种资源信息的第一结果值相加得到第二结果值，将所述第二结果值与该子节点的节点权值做乘积处理得到该子节点的负载值，根据预先配置的规则，将所述各个子节点中负载值符合该规则的子节点确定为处理所述任务请求的子节点，其中预先配置的规则为选择该各个节点中负载值最小的子节点；将所述任务请求发送给确定出的子节点，其中所述资源信息包括处理完毕的上一个任务请求的信息。该方法虽然在一定程度上实现了集群的灵活配置和更有效的负载均衡，但是其算法中，要实时获取子节点的每一种资源信息的资源值和资源负载权值并进行实时运算，算法复杂，计算量大，对负载均衡设备能力要求很高，同时，当客户端进行数据存取时，需要等待的时间过久。

再例如申请号为201110418127.1的发明专利，公开了一种负载均衡系统、装置及方法，所述方法包括：所述网络交换机用于获取用户数据流中的特征信息，当所述特征信息符合预定的第一负载均衡策略时，将收到的用户数据流中的数据报文按所述第一负载均衡策略转发给与所述网络交换机连接的多个服务器单元以实现低层负载均衡。当所述特征信息符合预定的第二负载均衡策略时，将收到的数据报文发送给所述负载均衡设备，然后根据所述负载均衡设备确定的转发策略将数据报文转发给与所述网络交换机连接的多个服务器单元以实现高层负载均衡。其中，第一负载均衡策略是将具有大带宽特征的特征信息的数据报文转发给特定服务器单元；第二负载均衡策略是将具有小带宽特征的特征信息的数据报文转发给所述负载均衡设备。由上可知，该发明需要独立的负载均衡设备来完成上述过程；同时，第一负载均衡策略和第二负载均衡策略分别需要标记大带宽特征和小带宽特征的特征信息，对于一般的数据报文，其大带宽特征和小带宽特征区分不是很明显，因此，该发明提供的方法在具体实现上面来说，具有一定的困难；另外，上述发明的方法只考虑到带宽问题，并未考虑到延迟问题，具有一定的缺陷。除此之外，以上的几种负载均衡策略都是由一个中央节点来扮演负载均衡的仲裁者。这种集中式负载均衡策略不适合大规模的集群系统，第一级中的负载均衡仲裁设备是一个单点故障，其次级中的负载均衡设备随着前段设备和后端设备数目的增多，负载的加大很有可能成为整个系统的瓶颈。

发明内容

因此，针对上述的问题，本发明提出一种非共享型分布式存储系统的动态负载均衡方法，使非共享型分布式存储系统的性能随着负载的变化而动态调整，并充分考虑带宽，延迟和容量的均衡问题，以最大化发挥分布式存储系统的带宽并且保证较低的延迟，同时该方法简单易实现，从而解决现有技术之不足。