[发明专利]一种基于效用函数的面向大数据处理的公平资源调度方法

权利要求书

1.一种基于效用函数的面向大数据处理的公平资源调度方法，其特征在于，该方法包括以下步骤：

步骤(1)：对于数据分析集群中的每一个作业，获取其作业基本数据，所述作业基本数据包括：作业权重、有向无环图、资源需求、运行时间、截止时间和作业的时间窗口；

步骤(2)：对于某一作业，根据作业的时间窗口和程序接口API的性质确定其是否为流数据处理作业，若不是流数据处理作业，则根据运行时间与预设的阈值进行比较来判断其作业类型，运行时间小于或等于预设的阈值为交互式作业；运行时间大于预设的阈值为批处理作业；

步骤(3)：对流数据作业采用离线预约的方式进行资源分配；

步骤(4)：对于其他作业，根据其作业权重、运行时间和截止时间特征创建其各自的效用函数，使用当前作业调用完成的预期时间点的效用函数的值除以该作业的剩余的松弛时间求出其效用密度，然后对效用密度按照从大到小的顺序进行排列；所述松弛时间为剩余的截止时间减去剩余的完成时间；

用作业在当前正在系统当中运行的任务数除以作业的权重值得到作业的公平性平衡程度，并对各作业的公平性平衡程度按照从小到大的顺序进行排序；

选择符合条件的作业放入待调度作业池，所述符合条件是指对于某个作业，该作业的效用密度在所有作业中的排列次序不大于预先给定的截止时间系数值与作业总数的乘积向上取整之后的数值，且该作业的公平性平衡程度在所有作业中的排列次序不大于预先给定的公平性系数与作业总数的乘积向上取整之后的数值；

在进行在线调度时，丢弃预期效用小于或等于0的失效作业，从作业池中选择满足不超出当前可分配资源条件并且资源点乘法结果最大的任务进行调度。

2.根据权利要求1所述的公平资源调度方法，其特征在于，步骤(3)中对流数据作业采用离线预约的方式进行资源分配，包括以下步骤：

(31)对于所有的流数据处理作业，各自按照最大资源点乘法排列其内部任务的执行顺序；

(32)对于所有已经确定内部执行顺序的作业划分执行区间，单个作业执行区间的开始时间为上个流数据处理作业的数据输出结束时间，执行区间的结束时间为下一个流数据处理作业的数据输入开始时间，按照执行区间由长至短依次为流数据处理作业预约资源。

3.根据权利要求2所述的公平资源调度方法，其特征在于，步骤(32)中对于执行区间长度相同的流数据处理作业，先对所有作业按照运行时间长度进行排序，先按照时间方向从前向后调度，然后从相反方向调度，如此类推反复改变时间方向直至所有流数据处理作业得到资源的预约；

在每个方向上的调度方式均为：在所有待预约的作业中，按照作业运行时间的长度，依次对作业进行预约，直到达到执行区间所能允许调度的最多作业。