[发明专利]分布式存储系统的动态负载均衡方法

摘要

本发明公开一种分布式存储系统的动态负载均衡方法，该方法用于n个存储节点的非共享型分布式存储系统为m个节点的客户端服务器提供s个数据单位的存储服务，其包括以下步骤步骤1统计如下信息统计各存储节点上对每一个客户端连接的数据存取访问，统计s个数据单位中的每一个数据单位通过不同存储节点的访问次数，统计每个节点的空间使用率；步骤2根据步骤1中的上述统计数据，预先制定带宽阈值，远程访问阈值和容量阈值，所有的阈值均为百分比，判断分布式存储系统的各节点是否出现网络负载不均衡，跨节点访问次数过多导致的高延迟和容量极度不均衡，并根据判断结果选择迁移数据或者通过路由重定向客户端接入访问点。

主权项

分布式存储系统的动态负载均衡方法，该方法用于n个存储节点的非共享型分布式存储系统为m个节点的客户端服务器提供s个数据单位的存储服务，包括以下步骤：步骤1：在各存储节点上对每一个客户端连接的数据存取访问作统计，统计s个数据单位中的每一个数据单位通过不同存储节点访问的次数，统计每个节点的空间使用率；步骤2：根据上述统计数据，并预先制定带宽阈值、远程访问阈值和容量阈值，各阈值均为百分比；设容量最高阈值HighWaterMark和最低阈值LowWaterMark，判断分布式存储系统的各节点是否出现容量极度不均衡，即当判断结果满足：其中一个节点的容量的使用量超过最高阈值HighWaterMark，一个节点的容量的使用量低于最低阈值LowWaterMark，则转到步骤31；令某个客户端跨节点nodeX访问数据的次数RemoteAccess[nodeX]为K1，令本地访问次数LocalAccess为K2，当判断结果满足：K1‑K2大于预设阈值Z，则转到步骤32；令一个数据单位通过某个节点nodeY跨节点访问的次数RemoteHit[nodeY]为L1，令本地访问次数LocalHit为L2，当判断结果满足：L1‑L2大于预设阈值W，则转到步骤33；步骤31：迁移数据：对于选定的数据单位首先通过DHT算法确定目标节点nodeDst，如果这个数据单位通过nodeDst访问次数远小于通过其中某个节点nodeY的访问次数，那么目标节点选择nodeY；如果nodeY就是本地节点，那么暂时不迁移本数据单位；步骤32：选取客户端跨节点访问次数最多的节点nodeX，如果该节点nodeX的带宽一直处于满带宽，而有其它节点带宽统计没有达到满带宽，那么暂时不迁移，首先尝试触发数据均衡，同时清除客户端访问统计；如果所有的节点都近似带宽饱和，通过路由重定向客户接入访问点到目标节点nodeX；步骤33：迁移数据到目标节点nodeY。