[发明专利]面向完成时间优化的科学工作流调度方法及系统

权利要求书

1.一种面向完成时间优化的科学工作流调度方法，其特征在于，包括：

DAG转换步骤：将给定的科学工作流配置转换成对应的有向无环图；

函数转换步骤：将科学工作流中的每层任务转换成无服务器函数并部署到对应集群中；

资源分配步骤：对于有向无环图中的每层任务，根据参数配置，将资源分配给所述任务并运行；

动态调整步骤：在任务运行的过程中，保持对集群的监控，根据任务的剩余运行时间和系统可用资源动态调整每个任务的资源分配。

2.根据权利要求1所述的面向完成时间优化的科学工作流调度方法，其特征在于，所述DAG转换步骤包括：

S101、提取工作流配置中的每个任务，并在对应的有向无环图中创建一个图节点，并指定每个任务的运行最大实例数；

S102、根据工作流任务间的依赖关系，在创建的有向无环图中添加对应的边；

S103、基于工作流的名称生成对应有向无环图的ID；

S104、标记创建的有向无环图中的根节点；

S105、将ID、截止时间和有向无环图在内的要素封装成一个工作流对象。

3.根据权利要求1所述的面向完成时间优化的科学工作流调度方法，其特征在于，在所述函数转换步骤中，将一个科学工作流中个功能相同但输入不同的任务汇总，并通过Restful API将任务暴露，使用同样的任务镜像打包成相同的无服务器函数。

4.根据权利要求2所述的面向完成时间优化的科学工作流调度方法，其特征在于，所述函数转换步骤包括：

S201、根据指标提取当前需要转换的任务；

S202、提取当前需要转换的任务的名称和镜像地址；

S203、将任务的名称、镜像地址、命名空间、自动伸缩规则配置在内的信息打包生成一个对应的无服务器函数；

S204、工作流系统根据任务指定的输入和输出，给每个无服务器函数实例分配一对输入key和输出key；

S205、工作流系统在每个无服务器函数实例所对应的输入key和输出key中，写入输入文件和输出文件的集合K_input和K_output；

S206、当无服务函数执行时，工作流系统下载函数镜像，并在集群中根据镜像部署对应的无服务器函数，生成一个函数运行实例，并保留实例暴露出来的Restful API接口。

5.根据权利要求1所述的面向完成时间优化的科学工作流调度方法，其特征在于，所述资源分配步骤包括确定单位任务所需的资源量：

工作流系统根据工作流池中运行的所有任务的函数总实例数、工作流的剩余运行时间以及当前集群可用资源，将整个集群的资源按比例分配给所有正在运行的任务；

采用以下方法来确定每个任务单个实例所需的CPU资源和内存资源量：

对于每个即将运行的任务，在容器中启动该任务的1个实例，每隔固定的时间间隔对容器所消耗的CPU资源和内存资源数据进行收集，收集结果会形成两个时间序列，分别记为d_cpu＝{d_cpu，1，…，d_cpu，n}和d_mem＝{d_memm，1，…，d_mem，n}；

记当前的时间间隔序号为i，所收集的CPU数据为d_cpu，i，内存数据为d_mem，i；若在某一个时间间隔i内，同时满足以下两个条件：

则视为当前任务资源消耗趋于稳定，将d_cpu，i和d_mem，i作为任务间资源分配算法时所使用的任务资源消耗量；

若在时间间隔j，j＞i时，所收集的CPU数据d_cpu，j和内存数据d_mem，j也满足上述两个条件，则对于CPU资源数据，取d_cpu，i和d_cpu，j中的最大值作为用于调度的CPU资源量；对于内存资源数据同样处理；

若一直没有时间间隔i满足以上两个条件，则取d_cpu和d_mem中的最大值作为任务单个实例所需的资源量。