[发明专利]基于异构系统的并行任务处理方法及装置

说明书

本发明可用于金融领域中的大数据技术领域，本发明提供了一种基于异构系统的并行任务处理方法及装置，基于异构系统的并行任务处理方法包括：根据预设执行次数以及待执行任务的历史执行时间确定待执行任务的执行时间的期望值以及方差值；根据所述期望值以及所述方差值确定所述待执行任务在所述异构处理器上执行所需执行时间的权重；根据异构处理器的能耗配置参数、所述待执行任务可接受的最晚执行完成时间、所述待执行任务在所述异构处理器的当前执行次数以及所述权重分配所述待执行任务至对应的异构处理器。本发明可以在满足任务规定的时间限制的前提下，合理地分配待执行任务，以使系统能源消耗最小。

技术领域

本申请属于大数据技术领域，具体涉及异构系统下的分布式任务的处理技术领域，特别是一种基于异构系统的并行任务处理方法及装置。

背景技术

在现有技术中，为满足最新提交的代码能更快地得到测试和上线，软件每日都会进行大量的自动化集成工作，一次集成过程一般包括静态代码扫描、单元测试、编译部署、自动化测试等多个任务。目前一般使用持续集成工具Jenkins来调度处理这些任务。为更快地完成集成流水线上的任务，集成人员往往希望这些任务的处理速度越快越好。因此Jenkins任务调度算法一般将任务分配给处理实效最快的Slave服务器。

随着DevOps的推广，集成流水线的任务越来越丰富，Jenkins上的并行任务也越来越多。为满足时效要求，Jenkins系统一般会不断增加Slave服务器的数量与种类来处理大量不同类型的任务，因此实际上的Jenkins任务调度系统基本为不同种类的服务器组成的异构并行系统。Slave服务器特性不同，处理同一个任务的处理时间和能耗也不相同，这就涉及到服务器资源调度问题。

在现有技术中，Jenkins任务调度算法一般将任务分配给处理时效最快的处理器，然而处理时间与处理器主频成反比关系，能耗与处理器主频成正比关系，因此一般情况下能耗与处理时间成反比关系，处理时间越短，能耗越大。能耗过大会导致计算机器件温度升高从而影响系统稳定性和可靠性、增加散热成本及电费支出。而调度算法一般使用任务的平均执行时间作为后续的预估执行时间。而实际执行过程中由于各类因素影响，任务的执行时间是随机的、近似于正态分布的，只考虑均值的方法显然不够精确。

发明内容

本发明可用于大数据技术在金融方面应用的技术领域，也可用于除金融领域之外的任意领域，本发明提供了一种异构系统并行任务的节能调度算法，可以在满足任务规定的时间限制的前提下，使系统能源消耗最小。

为解决本申请背景技术中的技术问题，本发明提供以下技术方案：

第一方面，本发明提供一种基于异构系统的并行任务处理方法包括：

根据预设执行次数以及待执行任务的历史执行时间确定待执行任务的执行时间的期望值以及方差值；

根据所述期望值以及所述方差值确定所述待执行任务在所述异构处理器上执行所需执行时间的权重；

根据异构处理器的能耗配置参数、所述待执行任务可接受的最晚执行完成时间、所述待执行任务在所述异构处理器的当前执行次数以及所述权重分配所述待执行任务至对应的异构处理器。

一实施例中，所述根据异构处理器的能耗配置参数、所述待执行任务可接受的最晚执行完成时间、所述待执行任务在所述异构处理器的当前执行次数以及所述权重分配所述待执行任务至对应的异构处理器，包括：

比较所述当前执行次数与所述预设执行次数；

若所述当前执行次数不小于所述预设执行次数，根据所述能耗配置参数、所述权重以及所述最晚执行完成时间分配所述待执行任务至对应的异构处理器。

一实施例中，所述根据所述能耗配置参数、所述权重以及所述最晚执行完成时间分配所述待执行任务至对应的异构处理器，包括：