[发明专利]一种基于遗传算法优化的封装类分布式作业任务调度方法及系统

说明书

本发明公开了一种基于遗传算法优化的封装类分布式作业任务调度方法及系统，用以缓解由于作业量分布不均匀导致系统运行效率较低的问题。方法包括：读取所有作业数据量以及节点数量，为每个节点分配唯一的节点ID，以及为每个作业分配唯一的作业ID和执行节点；构建当前种群包括选择算子，还包括采用交叉算子、变异算子之一或组合；启动所有节点，执行当前构建的种群中的所有作业队列池的所有作业队列；获取每一作业队列池中执行耗时最长的作业队列，以该作业队列的执行时长作为该个体的适应度值；各个体携带其适应度值返回重新构建当前种群；达到最大迭代次数时，输出适应度值最小的个体及其适应度值。系统包括：构建当前种群模块等模块。

技术领域

本发明涉及互联网领域，特别涉及一种基于遗传算法优化的封装类分布式作业任务调度方法及系统。

背景技术

遗传算法是一种基于生物自然选择与遗传机理的随机搜索与优化方法，通常待处理的作业任务可以分为可拆分式作业任务和封装类作业任务两种类型。其中可拆分类作业任务较为常见：如数据抽取清洗转换过程(ETL)任务中将数据源拆分成若干各子数据源，将其分配到不同的节点并行执行；网络数据传输中将数据分包传输等。封装类作业任务由一系列不可拆分的原子任务组成，单个任务的执行只能由单一节点执行，如：数字证书的认证过程；数据加密过程等。

常规的分布式算法有：先进先出(FIFO)、短作业优先(SJF)、时间片轮转(RR)、优先级等。对于可拆分式作业任务，通过将大作业任务拆分成较小的作业任务后，系统中的所有作业任务数据量分布较均匀。使用常规分布式算法进行调度后，由于不同作业任务的数据量经过拆分后分布较均匀，系统各执行节点分配的作业任务总数据量接近一致，系统整体运行效率较高；对于封装类作业任务，由于不同作业任务的总量、消耗资源不一致，使用常规调度方法容易导致以下缺点：

如使用FIFO调度算法，这种算法将任务按先进先出的顺序依次分配到各个执行节点，容易出现不同节点的最终分配任务总数据量不一致，从而导致部分执行节点闲置的情况。另外，这种调度算法会导致短作业任务等待的现象。如中国专利“CN106648845A一种分布式任务调度系统及方法”提出的一种分布式任务调度系统及方法。该系统包括至少一个调度模块以及至少两个执行模块；调度模块用于接收外部输入的配置信息，并根据配置信息向至少两个执行模块中的至少一个执行模块发起调度请求；执行模块用于在接收来自调度模块的调度请求后，根据调度请求采用FIFO的方式执行对应的业务逻辑。该专利提出的调度方法只是将队列中的任务按照先进先出的方式分配到各个节点上，并没有对作业的调度进行优化，对于作业很多、不同作业的数据量分布不均的情况，仍会出现部分节点闲置的问题。

使用SJF调度算法，这种算法优先考虑短作业任务，系统响应性较好，但是同样会由于不同任务总数据量不一致导致部分节点闲置的问题。

使用RR调度算法，这种算法对每个任务分配固定的时间片，系统响应性好，但是会出现由于时间片设置不当导致系统用于切换任务的开销较大，导致系统整体运行效率不高。

使用基于优先级的调度算法，这种算法针对每个任务的特点设置相应的优先级，对于特定的任务适用性较好，但是具有一定的片面性。如中国专利“CN108205541A分布式网络爬虫任务的调度方法及装置”提供了一种基于优先级的调度方法，这种方法可以配置任务的优先级，相较于普通调度方法具有更大的灵活性，并且针对特定的任务可以大幅提升系统运行效率。但是这种方法需要手动配置各种任务的优先级，对于作业数量较大的场景，很难定义出较为合适的优先级，从而导致出现系统资源的浪费问题，其适用场景较片面。