[发明专利]一种基于智能感知的跨域计算任务调度方法及系统

说明书

本发明提出一种基于智能感知的跨域计算任务调度方法及系统，包括：步骤1、基于标签数据训练决策树模型；步骤2、基于相对时间复杂度估算计算任务的执行时间；步骤3、基于资源历史记录和ARIMA算法预测各域的资源变化趋势指标；步骤4、使用资源状态接口获取各个域的资源实时状态指标；步骤5、基于可用带宽估算数据迁移到各个域的迁移时间；步骤6、基于决策树模型和综合指标决策任务最优执行域。本发明创造性地将趋势预测算法和决策树算法综合应用于跨域计算任务调度场景，避免了任务资源抢占现象，解决了调度决策正确率低的问题；通过流式机器学习技术，克服了趋势预测算法和决策树算法的性能问题，大幅缩短了跨域计算任务调度整体时间。

技术领域

本发明属于任务调度领域，具体涉及集群级任务调度场景，特别是一种面向跨域计算环境的计算任务调度技术。

背景技术

跨域计算环境由多个互相隔离的域组成，每个域包含一个或多个完整的存储和计算集群，可独立执行具体的计算任务。参与计算的主要数据所在的域称为数据域。在跨域计算环境中，总是将计算任务提交到数据域执行并不是最优的调度策略。当数据域剩余资源不足时，任务将进入等待队列，导致任务启动时间不可控。当数据域剩余资源紧张时，任务计算性能将受到影响，导致任务执行时间变长。将计算任务提交至其它低负载域时，过高的数据跨域迁移成本同样会导致任务启动时间大幅推迟。因此，需要一种全局性的任务调度技术，在综合考虑各域资源情况和数据迁移成本等影响因素的基础上，智能判定任务的最优执行域。

域能够执行具体的计算任务必须满足两个前提：1)该域必须满足计算任务对CPU和内存等资源的需求；2)该域必须存储参与计算的数据，必要时需要将数据从其他域迁移至本域。迁移数据的大小直接影响跨域迁移时间的长短，文件数据可通过汇总每个分片文件的大小得到其数据量，数据库数据可通过计算数据表宽度和记录数的乘积估算出其数据量。

发明内容

本发明的目的是解决了跨域计算环境下各个域的资源利用率不均衡，以及域内资源不足导致任务执行失败或执行时间过长的问题，为实现在维持每个域的资源使用率相对均衡的基础上缩短计算任务的整体执行时间的调度目标，提出一种基于智能感知的跨域计算任务调度方法及系统，用于决定具体计算任务的最优执行域。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于智能感知的跨域计算任务调度方法，包括：

步骤1、基于标签数据训练决策树模型；

步骤2、基于相对时间复杂度估算计算任务的执行时间；

步骤3、基于资源历史记录和ARIMA算法预测各域的资源变化趋势指标；

步骤4、使用资源状态接口获取各个域的资源实时状态指标；

步骤5、基于可用带宽估算数据迁移到各个域的迁移时间；

步骤6、基于决策树模型和综合指标决策任务最优执行域。

进一步的，步骤1所述决策树模型通过决策树算法训练得出，步骤如下：

1.1、构建初始标签数据，并划分为训练集和测试集；

1.2、将训练集输入到决策树训练算法中并设置训练参数，得出决策树模型；

1.3、将决策树模型和测试集输入到决策树评估算法中，得出决策树模型评估指标；1.4、当决策树模型评估指标不满足要求时：

a)调整训练参数，重复步骤1.2和1.3，直到指标满足要求为止；或者，

b)调整标签规则，重复步骤1.1、1.2和1.3，直到指标满足要求为止。

进一步的，步骤2所述估算方法包括：

2.1、选取一种基准算法，并拟合出该基准算法的时间复杂度曲线；