[发明专利]任务多副本执行的集群作业调度方法及系统

说明书

本发明提供了一种任务多副本执行的集群作业调度方法及系统，包括：拖后腿机器寻找：运用机器学习的方法，找出当前运行任务的拖后腿机器；最优副本数计算：拖后腿机器上的任务副本和所有任务同时启动，并且建立以最小化任务执行时间和运行成本为目标的优化模型，然后运用交替方向方法求解优化模型得出启动副本的最优数量。本发明免去了检测过程和拖后腿任务在被发现之前的执行时间；建立了以同时最小化作业的流程时间和在集群中的计算成本为优化目标，以集群中所有执行的任务数不超过集群中可用的计算节点数和每个任务的副本数不超过给定的阈值为限制条件的最优化模型。

技术领域

本发明涉及计算机技术领域，具体地，涉及一种基于机器学习的任务多副本执行的集群作业调度方法及系统。

背景技术

支持向量机(SVM)是90年代中期发展起来的基于统计学习理论的一种机器学习方法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律的目的。它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，即支持向量机的学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。

交替方向乘子法(Alternating Direction Method of Multiplier-ADMM)是一种求解优化问题的计算框架，适用于求解分布式凸优化问题，特别是统计学习问题，该方法整合了对偶上升算法的可分解性与增广朗格朗日乘数法优秀的收敛性质，分解原函数和扩增函数，将大的全局问题分解为多个较小、较容易求解的局部子问题，以便在对目标函数更一般的假设条件下并行优化，引入新变量，然后交叉换方向来交替优化。

随着集群规模和复杂性的日益增长，如何保障集群性能的可测量性和可预测变得日趋重要，然而集群中拖后腿现象的普遍存在是影响集群性能可预测性的关键因素，它使得运行在某个集群中某个计算节点上的任务的执行时间大量的延长，导致对于任务完成时间无法估计，极大地影响了集群性能。针对这种拖后腿的现象最基本的做法是在其他机器上运行拖后腿的任务的若干副本，当任何一个副本最先执行完任务之后，即该任务执行完成，且终止和清除其他还在运行的副本及数据，其中最经典的算法就是推测执行方法，根据每个任务的执行情况推测哪些任务会成为拖后腿的任务，然后根据推测结果在其他机器上执行拖后腿任务的副本，这种只有在出现拖后腿现象才执行副本的被动方法在一些对延迟特别敏感的任务中性能表现并不是很好。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种任务多副本执行的集群作业调度方法及系统。

根据本发明提供的一种任务多副本执行的集群作业调度方法，包括：

拖后腿机器寻找步骤：运用机器学习的方法，找出当前运行任务的拖后腿机器；

最优副本数计算步骤：拖后腿机器上的任务副本和所有任务同时启动，并且建立以最小化任务执行时间和运行成本为目标的优化模型，然后运用交替方向方法求解优化模型得出启动副本的最优数量。

较佳的，所述拖后腿机器寻找步骤具体包括：

在计算节点的集群中分别运行不同类型的任务一定时间，得到多条训练样本，选定训练样本的特征使得分类函数线性可分，训练样本的特征分别是计算节点上运行任务的工作负载w_i，之前发生拖后腿现象的次数n_i，计算节点的cpu w_c和内存w_m负载，因此分类函数为：f(X)＝w^TX+b，其中X＝[w_s,n_s,w_c,w_m]，为求出参数w^T与b，转化到下面的优化问题一：

s.t.,y_i(w^Tx_i+b)≥1,i＝1,...,n