[发明专利]分布式存储系统中定时任务处理方法、系统及存储介质

说明书

本发明涉及一种分布式存储系统中定时任务处理方法、系统及存储介质，包括S1定时任务持久化：接收来自WEB客户端/CLI或者后台配置的定时任务策略，将相应的配置参数解析持久化到本地数据库中；S2定时任务交互处理和执行：在集群主节点中维护独立的消息进程，负责客户端和节点之间的定时任务交互处理和任务执行，读取定时任务配置数据，根据数据格式解析封装成对应的任务详情及执行具体任务，并同步更新任务状态；S3任务增量同步：同步持久化任务策略数据库至集群其他节点，保持节点间的定时任务一致，当主节点挂掉或者出现异常时，其他备选从节点将自动比对持久化任务数据库，同步对应的定时任务策略，拉起相应失败的定时任务。

技术领域

本发明属于分布式存储集群技术中定时任务处理领域，具体涉及一种分布式存储系统中定时任务处理方法、系统及存储介质。

背景技术

分布式存储集群在大数据时代得到了广泛应用，而在存储集群内部定时任务的处理也成为了一项无可或缺的技术；针对不同的应用场景和数据处理复杂度，分布式定时任务的处理，也成为分布式存储集群系统中的一项重要功能。

通常，存储集群由多个不同的存储服务节点构成，单节点上的定时任务操作可由系统下的crontab等系统调用触发。该种操作虽然可以实现定时任务功能，但是相对于集群本身存在如下缺点：缺乏分布式任务管理；单节点挂掉后，分布式作用消失；通常需要配置具体的脚本实现，脚本管理繁琐；任务失败时，定位困难，增加运维难度。此为现有技术存在的不足之处。

有鉴于此，本发明给出一种分布式存储系统中定时任务处理方法、系统及存储介质的技术方案；以解决现有技术中存在的缺陷和问题。

发明内容

针对现有技术中存在的缺乏分布式任务管理；单节点挂掉后，分布式作用消失；通常需要配置具体的脚本实现，脚本管理繁琐；任务失败时，定位困难，增加运维难度的问题；本发明提供一种分布式存储系统中定时任务处理方法、系统及存储介质，以解决上述技术问题。

为实现上述目的，本发明给出以下技术方案：

第一方面，本发明提供一种分布式存储系统中定时任务处理方法，包括以下步骤：

S1：定时任务持久化的步骤：接收来自WEB客户端/CLI或者后台配置的定时任务策略，并将相应的配置参数解析持久化到本地数据库中；

S2：定时任务交互处理和执行的步骤：在集群主节点中维护独立的消息进程，负责客户端和节点之间的定时任务交互处理和任务执行，读取定时任务配置数据，根据数据格式解析封装成对应的任务详情及执行具体任务，并同步更新任务状态；

S3：任务增量同步的步骤：同步持久化任务策略数据库至集群其他节点，保持节点间的定时任务一致，当主节点挂掉或者出现异常时，其他备选从节点将自动比对持久化任务数据库，同步对应的定时任务策略，拉起相应失败的定时任务。

作为优选，所述步骤S1具体包括以下步骤：

S1.1：WEB客户端/CLI或者后台配置定时任务及策略下发至存储系统；

S1.2：存储系统中接受定时策略配置参数进行解析；

S1.3：进行定时策略配置参数解析及定义格式校验；

S1.4：S1.3中解析正常且校验正确，则将定时策略配置持久化至本地数据库中；否则，转S1.5。

S1.5：进行错误处理，记录日志及抛出对应错误码供前端交互设计。

效果是：将正确的定时策略配置持久化至本地数据库；将错误的定时策略配置排除；提高定时任务处理的准确度和实效性。

作为优选，所述步骤S2具体包括以下步骤：

S2.1：从数据库中读取定时任务配置参数；