[发明专利]一种基于Redis的批作业调度自适应方法

说明书

本发明公开了一种基于Redis的批作业调度自适应方法，其包括以下步骤：S1：作业装载：创建Redis作业通道，接收待处理批量作业，并根据作业规模将作业压入相应的作业通道中；S2：作业调度：对应Redis作业通道，建立响应任务接收池，用于查看对应通道的待处理任务；S3：作业处理：通过响应任务接收池接收对应通道的待处理任务，进行作业处理；S4：当前作业处理完毕，释放资源，返回S3。本发明借助redis缓存技术建立多通道，提高了并发效率，借助redis的成熟技术实现批量转联机的调度机制；对待处理批次进行分类处理，按照每个批次的规模分组，每个组都并行处理，防止极端情况下待处理批次的长时间等待。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于Redis的批作业调度自适应方法。

背景技术

随着计算机技术的飞速发展，计算机和互联网技术在各个行业中广泛应用，集群系统也逐渐在各个领域进行应用。

在银行受理集团客户的批量代发业务需求时，可能一个批次只需要代发两笔明细，也可能一个批次需要代发100万笔明细，所有可能都存在。当公司同时受理多个客户的多个代发批次，系统有可能长时间响应100万笔代发需求而迟迟未处理两笔明细的代发需求，或者是系统一直处理代发明细少的批次而延误多笔明细的代发处理，这都有可能耽误其他更为紧急的业务的进程。

目前云计算系统通常会采用作业层调度策略，即终端提交作业请求，作业层的调度器会将接收到的多个作业请求添加到调度队列，并按照预设排序策略对调度队列中的多个作业请求进行排序，按照排列的顺序依次将每个作业请求调度到服务器上，由调度的服务器按照该作业请求并根据该作业请求对应的数据进行计算。

在申请号为CN202110643366.0的中国发明专利申请文件中提出了一种基于Redis的作业请求调度方法、装置、设备及介质，该方法中，实现管理功能的电子设备根据先入先出规则从Redis集群中的作业请求队列中获取待处理的作业请求。然后根据预设的调度规则，从Redis集群中存储的代理资源列表中获取目标代理资源，目标代理资源满足字符集与作业请求一致和/或代理服务器执行的进程最少。最后将作业请求发送至目标代理资源对应的代理服务器进行处理，并在Redis集群中将目标代理资源进行锁定。将代理资源以及作业请求队列等信息存储在Redis中以便实现快速访问，在调度代理资源时考虑了字符集一致以及空闲程度，实现了作业请求调度的软负载，有效提升代理资源调度的效率和作业请求执行的效率。

但该方法仅单纯的使用其缓存技术和先来先服务的设计理念，并未涉及多通道概念，不能防止因长时间处理长作业而导致短作业饿死的现象，且该方案仅适用于缓存电子设备，不适用于缓存批作业，类似文件处理、批量代发等软任务。

发明内容

本发明的目的在于提供一种基于Redis的批作业调度自适应方法，旨在解决现有技术中银行受理集团客户的批量代发业务需求时，代发效率低，存在因长时间处理长作业而导致短作业饿死的情况发生的问题。

为实现上述目的，本发明提出一种基于Redis的批作业调度自适应方法，其包括以下步骤：

S1：作业装载：创建Redis作业通道，接收待处理批量作业，并根据作业规模将作业压入相应的作业通道中；

S2：作业调度：对应Redis作业通道，建立响应任务接收池，用于查看对应通道的待处理任务；

S3：作业处理：通过响应任务接收池接收对应通道的待处理任务，进行作业处理；

S4：当前作业处理完毕，释放资源，返回S3。

更进一步的，所述S1之前还包括以下步骤：

S00：在Redis中创建长作业、短作业、普通作业及优先作业四个独立的作业通道。

更进一步的，所述S1之前还包括以下步骤：

S01：依据配置库定义分别标志待处理作业类型和作业状态。