[发明专利]存储调度方法和系统、作业调度方法和系统及管理节点

权利要求书

1.一种存储调度方法，其特征在于，包括：

管理节点获取网络节点各端口的网络流量统计信息，并换算出各数据节点的路径可用带宽；

当管理节点接收到来自客户端的数据块存储请求时，根据存储调度算法预选出n组数据节点，每组数据节点中包括m个数据节点，其中，n、m为预先设定的整数；

管理节点根据获得的各数据节点的路径可用带宽，分别计算每组数据节点的路径可用带宽加权均值；

并将计算得到的路径可用带宽加权均值最大的一组数据节点作为发起数据块存储请求的数据块的存储节点。

2.如权利要求1所述的存储调度方法，其特征在于，所述m为3，每组数据节点中，包括第二数据节点、第三数据节点和第四数据节点，第三数据节点和第四数据节点处于同一机架，第二数据节点与第三数据节点处于不同机架；

所述管理节点根据获得的各数据节点的路径可用带宽，分别计算每组数据节点的路径可用带宽加权均值包括：

计算每组数据节点中所述客户端到所述第二数据节点之间的第一网络路径的路径可用带宽；

计算每组数据节点中所述第二数据节点到第三数据节点之间的第二网络路径的路径可用带宽；

计算每组数据节点中所述第三数据节点到第四数据节点之间的第三网络路径的路径可用带宽；

将每组数据节点中三条网络路径的路径可用带宽进行加权平均计算路径可用带宽加权均值。

3.如权利要求2所述的存储调度方法，其特征在于，所述每组数据节点中所述第一网络路径和所述第二网络路径的加权系数均为0.4，所述第三网络路径的加权系数为0.2。

4.一种作业调度方法，其特征在于，包括：

管理节点获取网络节点各端口的网络流量统计信息，并换算出各数据节点的路径可用带宽；

当第一数据节点空闲并向管理节点请求新任务时，管理节点选择一个作业；

当所选择的作业中没有尚未处理的数据块存储在所述第一数据节点的任务，但有尚未处理的数据块存储的数据节点与所述第一数据节点处于同一机架的任务时，

管理节点根据获得的各数据节点的路径可用带宽，计算第一数据节点所在的机架内含有所述选择的作业所需数据块的第一待选数据节点和第一数据节点间的路径可用带宽均值B_temp，并计算路径可用带宽比值γ；所述第一待选数据节点为一个或一个以上；

当所述选择的作业的轮空次数满足第一条件时，该方法还包括：

所述管理节点选择所述第一待选数据节点中路径可用带宽最大的数据节点作为所述第一数据节点的数据源；

设置所述选择的作业的轮空次数为0；

所述管理节点将所述路径可用带宽最大的数据节点作为数据源的任务返回给所述第一数据节点执行；

其中，第一条件为：Count_k≥(1-γ)x₁；

其中，Count_k为所述选择的作业的轮空次数，x₁为所述第一数据节点可以申请到数据块存储在所述第一数据节点的任务的概率为时的申请次数，R为文件分块的备份数，M为物理机集群数；

或者，当所述选择的作业中没有尚未处理的数据块存储在所述第一数据节点所在的机架内的任务，且所述选择的作业的轮空次数满足第二条件时，该方法还包括：

所述管理节点选择其他机架中含有所述选择的作业所需数据块所在的第二待选数据节点的路径中路径可用带宽最大的数据节点作为所述第一数据节点的数据源；

设置所述选择的作业的轮空次数为0；

所述管理节点将所述路径可用带宽最大的数据节点作为数据源的任务返回给所述第一数据节点执行；

其中，第二条件为：Count_k≥x₂；

其中，x₂为所述第一数据节点可以申请到数据块存储在所述第一数据节点的任务的概率为时的申请次数，N为所述选择的作业中尚未处理的任务数，R为文件分块的备份数，M为物理机集群数。