[发明专利]一种分布式环境中大数据处理任务的调度方法

权利要求书

1.一种分布式环境中大数据处理任务的调度方法，其特征在于在分布式环境中，当任务到达队首时，判断当前空闲的计算节点是否含有队首任务所需要的数据，当前空闲计算节点包含队首任务所需数据，直接将队首任务调度到该节点上，

否则根据任务的动态信息将任务分类，对不同类别的任务设置不同的等待时间阈值，根据任务的类别和等待时间阈值判断该任务是直接调度还是继续等待。

2.根据权利要求1所述的方法，其特征在于根据任务的动态信息，将任务分成三类：高优先级任务、中优先级任务和低优先级任务，高优先级任务的等待时间阈值为0，低优先级任务在三者中等待时间阈值最长，而中优先级任务的等待时间阈值在高优先级任务与低优先级任务之间。

3.根据权利要求2所述的方法，其特征在于当前空闲计算节点不包含队首任务所需数据，而队首待调度的任务是高优先级任务，立即调度队首任务，而不再令其等待。

4.根据权利要求2或3所述的方法，其特征在于当前空闲计算节点不包含队首任务所需数据，而队首待调度的任务是中优先级任务，则先调度队伍中的其他任务而让队首任务等待，直到含有该任务所需数据的计算节点空闲，立即调度该任务；

或者队首任务的等待时间超过等待时间阈值，则立刻调度队首任务而不再令其继续等待。

5.根据权利要求4所述的方法，其特征在于当前空闲计算节点不包含队首任务所需数据，而队首待调度的任务是低优先级任务，先调度队伍中的其他任务而让队首任务等待，直到含有该任务所需数据的计算节点空闲，立即调度该任务；

或者队首任务的等待时间超过等待时间阈值，则立刻调度队首任务而不再令其继续等待。

6.根据权利要求1-3或5任一所述的方法，其特征在于利用模糊综合评价法将任务进行分类，则任务为评价对象，任务的动态信息作为评价指标，

具体步骤为：

步骤1：根据对评价对象可能做出的各种总的评价结果，确定评价对象的评价结果集，

步骤2：根据对评价对象进行评价所依照的评价指标，确定评价对象的评价指标集，

步骤3：根据分布式环境中各评价指标对大数据任务处理的影响，确定评价指标的权重矢量，

步骤4：利用单因素模糊评价，得到评价对象对各评价指标的隶属度，利用每个评价指标逐个对评价对象进行量化，确立模糊关系矩阵，

步骤5：选择合适的模糊合成算子将权重矢量与模糊关系矩阵合成，得到各评价对象的模糊综合评价的结果矢量，

步骤6：分析模糊综合评价的结果矢量，确定任务的分类结果。

7.根据权利要求6所述的方法，其特征在于根据属性将步骤2中的评价指标分类，每一类评价指标作为第一级评价指标，第一级评价指标包括该类别下的评价指标参数，作为第二级评价指标。

8.根据权利要求7所述的方法，其特征在于步骤4中利用单因素模糊评价，分别对各个评价指标进行分析，寻找其类似的模糊分布，将评价指标的隶属度函数定义为相应模糊分布的隶属度函数，并选择合适的参数，获得评价对象对各评价指标的隶属度。

9.根据权利要求7或8所述的方法，其特征在于任务的动态信息包括任务本身信息，计算节点信息以及当前的网络性能信息。