[发明专利]一种Celery在线管理及自动执行任务的方法、系统和存储介质

说明书

本发明公开了一种Celery在线管理及自动执行任务的方法、系统和存储介质，涉及计算机软件应用技术领域。所述方法基于Celery分布式框架，在Web中自定义任务并保存在数据库中，然后在线触发任务执行请求，为请求任务创建任务队列并为任务队列启动Worker进程，接下来使用Celery异步执行方法与Python动态执行方法进行自定义任务执行，实现任务逻辑在线变更及实时生效的需求。本发明方案在解决了现有技术中Celery无法在线创建注册任务且必须重启Celery服务才可执行任务的问题，以更加简便快捷的方式实现任务管理，缩减了系统的升级流程，提高了系统的稳定性及运维效率。

技术领域

本发明实施例涉及计算机软件应用技术领域，具体来说涉及一种Celery在线管理及自动执行任务的方法、系统和存储介质。

背景技术

Celery是一种Python开发的分布式队列的管理工具，可通过接口快速实现并管理一个分布式的任务队列。Celery作为一种分布式异步框架，具有高可用、简单、快速及灵活等特点，多被用以处理实时异步任务或周期性轮询任务，例如服务器数据采集、异步执行远程命令等多种场景。

现有技术中，Celery任务注册方式主要通过在后台脚本文件中提前定义任务函数名及代码逻辑，在启动Celery服务后将带有指定注解的方法名注册到Celery中，便于后续Worker进程获取任务并执行。但其存在下述不足之处：一方面使用Celery后端静态注册任务信息的方式，在任务逻辑或参数更新时，必须要求开发或运维人员变更代码并进行代码升级发布，且必须要重启Celery服务才能生效最新代码。这种方式无法有效支持需要频繁修改代码逻辑或任务参数的应用场景，且增加了开发运维人员的工作复杂度。另一方面，重启Celery服务可能会强制中断正在执行的任务进程，无法保证系统稳定运行。

发明内容

本发明实施例提供了一种Celery在线管理及自动执行任务的方法、系统和存储介质，基于Celery分布式框架及Python动态语言特性，将自定义任务执行逻辑配置在数据库中，实现自定义任务的异步执行，提高系统运维效率。

为实现上述目的，本发明公开了如下技术方案：

本发明一方面提供一种Celery在线管理及自动执行任务的方法，所述方法包括以下步骤：

在Web中自定义任务并保存在数据库中，在线触发任务执行请求；

接收任务执行请求，为请求任务创建任务队列并为任务队列启动Worker进程，然后基于Celery异步执行方法与Python动态执行方法进行自定义任务执行。

基于上述方案，进一步的，所述基于Celery异步执行方法与Python动态执行方法进行自定义任务执行，包括下述步骤：

引用公共执行函数，通过Celery异步执行函数将任务相关信息作为执行参数发送至指定任务队列；

Worker进程从指定任务队列中获取任务信息，利用Python动态定义函数将函数字符串转换为可调用函数；

从任务信息中获取执行函数参数传入可调用函数，自动执行任务逻辑。

进一步的，所述在Web中自定义任务并保存在数据库中，在线触发任务执行请求，包括下述步骤：

登录Web服务新建执行函数，并将函数数据保存至后端执行函数数据表中；

新建执行任务，选择执行函数并输入函数参数信息，并将数据保存至后端任务表中；

在Web界面中选择执行任务，触发任务执行请求。

进一步的，所述在Web中自定义任务之前，还包括下述步骤：

准备Python环境，并在Python环境中进行Celery及其组件的安装；