[发明专利]一种分布式异步任务调度方法及电子设备

说明书

本发明实施例涉及数据处理技术领域，公开了一种分布式异步任务调度方法及电子设备。本发明中，通过从用于给各个进程进行任务配置的配置中心获取任务信息，其中，任务信息至少包括给当前进程配置的目标任务队列，目标任务队列中存储有待执行的异步任务；从目标任务队列中获取批量的目标任务；调取目标任务并执行，能够提高任务调度的效率。

技术领域

本发明实施例涉及数据处理技术领域，特别涉及一种分布式异步任务调度方法及电子设备。

背景技术

随着互联网技术的发展，服务器的操作系统在处理任务的过程中，处理的数据量飞速增长。传统的使用一台机器来处理任务的方法已经无法满足任务处理的需求，在这种情况下，分布式任务处理方法应运而生，分布式异步任务处理方法能够利用多台机器同时处理多个任务，而且理论上可以无限水平扩展，因此可以很好地完成任务的调度和任务的处理。

发明人发现现有技术中至少存在如下问题：在现有的分布式任务调度系统中，各个处理任务的设备都必须去数据库中获取任务，而数据库中的任务又是不断更新的，因此，在从数据库中获取任务时，数据库会先对各个任务进行排他查询，通过优先级排序，获取待执行的任务，并将待处理的任务状态更新成处理中再执行，造成各个任务处理设备处理任务效率不高。

发明内容

本发明实施方式的目的在于提供一种分布式异步任务调度方法及电子设备，能够提高任务调度的效率。

为解决上述技术问题，本发明的实施方式提供了一种分布式异步任务调度方法，包括以下步骤：从用于给各个进程进行任务配置的配置中心获取任务信息，其中，任务信息至少包括给当前进程配置的目标任务队列，目标任务队列中存储有待执行的异步任务；从目标任务队列中获取批量的目标任务；调取目标任务并执行。

本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的分布式异步任务调度方法。

本发明实施方式相对于现有技术而言，从用于给各个进程进行任务配置的配置中心获取任务信息，其中，任务信息至少包括给当前进程配置的目标任务队列，目标任务队列中存储有待执行的异步任务；从目标任务队列中获取批量的目标任务；调取目标任务并执行。由配置中心来给各个进程配置任务，而且进程直接从目标任务队列中获取批量的目标任务执行，避免了频繁地对数据库进行存取操作，从而可以避免大量任务请求同时访问数据库造成的数据库负载过高，造成流量瓶颈的情况，提高任务调度的效率；同时，由于各个进程都是统一从配置中心获取任务信息，使得处理任务的进程可大量扩展，从而可进一步提高任务调度效率。

另外，配置中心还用于给各个任务队列配置任务并发规则，任务信息还包括目标任务队列对应的任务并发规则；从目标任务队列中获取批量的目标任务具体为：根据目标任务队列对应的任务并发规则从目标任务队列中获取批量的目标任务。设置任务并发规则，使得进程在执行任务的过程中不会混乱。

另外，配置中心通过任务配置表和任务队列管理表给各个任务队列配置任务并发规则，并且任务配置表还用于记录为各个进程配置的任务类型，任务队列管理表还用于记录各个任务类型分别对应的任务队列；从用于给各个进程进行任务配置的配置中心获取任务信息，具体为：从配置中心中的任务配置表和任务队列管理表中获取任务信息。配置任务配置表和任务管理表来记录为各个进程配置的任务队列以及各个任务队列的任务并发规则，方便对各个进程任务的统一管理，而且采用两张表来对任务进行分配，使得配置更加灵活。

另外，给各个任务队列配置的任务并发规则至少包括处理各个任务队列中任务的并发线程数；并且处理各个任务队列中任务的并发线程数根据线程池处理任务的速度实时调整。任务并发规则中包括处理任务队列中任务的并发线程数，而且并发线程数根据线程池处理任务的速度调整，一方面，避免任务队列中任务的消耗速度过慢，另一方面，避免并发数太高浪费CPU资源。