[发明专利]一种基于分布式存储的分布式调度方法

说明书

本发明公开了一种基于分布式存储的分布式调度方法，包括获取分布式存储节点的内存占用、磁盘占用和CPU占用，根据内存占用、磁盘占用和CPU占用获取分布式存储节点获取任务的权重，得到第一分布式存储序列；根据访问延迟进行排序得到对应用户的第二分布式存储序列；分别计算对应用户的第二分布式存储序列中各分布式存储节点对任务的处理速率，根据分布式存储节点对任务的处理速率以及该分布式存储节点获取任务的权重，得到对应用户的分布式存储节点获取任务的权重，根据对应用户的分布式存储节点获取任务的权重进行排序，得到第三分布式存储序列；步骤四，根据第三分布式存储序列和用户数据评价，完成用户数据分布式存储。

技术领域

本发明涉及数据存储领域，具体是一种基于分布式存储的分布式调度方法。

背景技术

分布式存储是由多个节点，通过组网连接，共同提供存储服务的一种技术，分布式调度是指在多节点之间的一种任务调度方式，随着数据规模的日益扩大，数据业务的急速扩增，云端集中化存储开始向分布式领域扩展，传统的集中化数据有着很大的瓶颈，但是在分布式存储中，数据的合理调度是一个很大的问题，需要满足高并发，高可用的需求。在现有系统中，很多分布式调度模块实现的并不是十分理想，没有考虑到业务规模的支撑，也没有考虑各种复杂业务常见下的鲁棒性，因此，亟需一种分布式存储下的分布式调度方法。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于分布式存储的分布式调度方法，包括如下步骤：

步骤一，获取分布式存储节点的内存占用、磁盘占用和CPU占用，根据内存占用、磁盘占用和CPU占用获取分布式存储节点获取任务的权重，根据分布式存储节点获取任务的权重对存储节点进行排序，得到第一分布式存储序列；

步骤二，根据第一分布式存储序列，获取用户与第一分布式存储序列中各分布式存储节点的访问延迟，根据访问延迟进行排序得到对应用户的第二分布式存储序列；

步骤三，分别计算对应用户的第二分布式存储序列中各分布式存储节点对任务的处理速率，根据分布式存储节点对任务的处理速率以及该分布式存储节点获取任务的权重，得到对应用户的分布式存储节点获取任务的权重，根据对应用户的分布式存储节点获取任务的权重进行排序，得到第三分布式存储序列；

步骤四，根据第三分布式存储序列和用户数据评价，完成用户数据分布式存储。

进一步的，所述的根据内存占用、磁盘占用和CPU占用获取分布式存储节点获取任务的权重，采用如下公式：

其中a表示内存占用，b表示磁盘占用，c表示CPU占用，d表示距离权重。

进一步的，所述的根据第一分布式存储序列，获取用户与第一分布式存储序列中各分布式存储节点的访问延迟，根据访问延迟进行排序得到对应用户的第二分布式存储序列，包括：将用户测试数据包打上时间戳分别发送给第一分布式存储序列中各分布式存储节点，获取各分布式存储节点接收到用户测试数据包的时间，根据各分布式存储节点接收到用户测试数据包的时刻与用户测试数据包的时间戳得到访问延迟。

进一步的，所述的分别计算对应用户的第二分布式存储序列中各分布式存储节点对任务的处理速率，包括：获取分布式存储节点存储完成用户测试数据包的时刻，根据分布式存储节点接收到用户测试数据包的时刻与分布式存储节点存储完成用户测试数据包的时刻，得到用户测试数据包的处理时长，根据处理时长与用户测试数据包的数据大小得到处理速率。

进一步的，所述的根据分布式存储节点对任务的处理速率以及该分布式存储节点获取任务的权重，得到对应用户的分布式存储节点获取任务的权重，包括根据得到的处理速率与分布式存储节点获取任务的权重的乘积，得到应用户的分布式存储节点获取任务的权重。

进一步的，所述的根据第三分布式存储序列和用户数据评价，完成用户数据分布式存储，包括：