[发明专利]任务多副本执行的集群作业调度方法及系统

权利要求书

1.一种任务多副本执行的集群作业调度方法，其特征在于，包括：

拖后腿机器寻找步骤：运用机器学习的方法，找出当前运行任务的拖后腿机器；

最优副本数计算步骤：拖后腿机器上的任务副本和所有任务同时启动，并且建立以最小化任务执行时间和运行成本为目标的优化模型，然后运用交替方向方法求解优化模型得出启动副本的最优数量；

所述拖后腿机器寻找步骤具体包括：

在计算节点的集群中分别运行不同类型的任务一定时间，得到多条训练样本，选定训练样本的特征使得分类函数线性可分，训练样本的特征分别是计算节点上运行任务的工作负载w_i，之前发生拖后腿现象的次数n_i，计算节点的cpu w_c和内存w_m负载，因此分类函数为：f(X)＝w^TX+b，其中X＝[w_s,n_s,w_c,w_m]，为求出参数w^T与b，转化到下面的优化问题一：

s.t.,y_i(w^Tx_i+b)≥1,i＝1,...,n

y_i＝1表示第i个任务运行在计算节点上不会拖后腿，y_i＝-1表示第i个任务运行在计算节点上会拖后腿，转化优化问题一得到优化问题二：

s.t.,y_i(w^Tx_i+b)≥1,i＝1,...,n

求解优化问题二，采用增广朗格朗日乘数法，将约束条件融入到目标函数里，得到优化问题三：

利用拉格朗日对偶，将优化问题三转化为对偶问题：

根据对偶问题求得参数w与b。

2.根据权利要求1所述的任务多副本执行的集群作业调度方法，其特征在于，所述最优副本数计算步骤具体包括：

作业i由m_i任务组成，每个任务不能被抢占，α_i表示第i个作业到达的时间，表示任务的副本数，T_i^j,k表示任务的第k个副本运行的时间，假设T_i^j,k是独立同分布的随机变量且Pr{T_i^j,k≤x}＝F_i(x)，一旦一个副本最先完成，其他的副本被终止运行并且删除运行所需要和产生的所有数据，表示任务的完成时间，因此作业i的流程时间：

考虑两个性能指标，作业流程时间Γ_i和计算成本，其中计算成本用集群运行作业i的所有时间来量化，因此作业i的计算成本为ξ表示每个任务最大能生成的副本数，且因此以最小化作业流程时间和作业的计算成本为目标得到如下优化问题五：

其中M表示集群中可用的计算节点的数量，β是调节参数，β设置的越小，则作业的流程时间在优化目标中占主导更大，反之则计算成本是优化问题五主要考虑的目标；

用交替方向法乘子法来求解优化问题五，引入变量c_l，0≤c_l≤M，使得优化问题五的第一个限制条件变成一个等式且相应的目标函数是f_l(c_l)＝0，由此将优化问题五转化成优化问题六：

0≤c_l≤M

将优化问题六转化成增广拉格朗日函数形式：

在第r次的迭代中，增广拉格朗日函数更新如下：

λ^r+1分别表示和λ在第r次迭代之后的值，η＞0，表示步长。