[发明专利]一种数据处理方法、装置、系统和存储介质

说明书

本发明公开了一种数据处理方法、装置、系统和存储介质，解决了ETL系统不停服升级的问题，降低数据处理延迟，提高ETL系统的可靠性。所述数据处理方法，包括：在服务启动之后，根据当前系统时间和任务调度表中记录的下次调度时间判断是否存在遗漏调度周期，如果判断出存在遗漏调度周期，则将任务调度表中下次调度时间增加一个调度周期，以及将维护的遗漏周期计数参数加1后，返回执行根据当前系统时间和任务调度表中记录的下次调度时间判断是否存在有漏调度周期的步骤，直至得到的下次调度时间大于当前系统时间为止，根据遗漏周期计数向执行引擎提交执行任务。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、系统和存储介质。

背景技术

ETL(Extract-Transform-Load,数据抽取、转换和装载)是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。当前ETL工具基本上都内置集成或借助第三方的调度工具实现其调度功能，在正常情况下，可以满足基本的流程作业周期自动调度的需求。但是，ETL系统发生故障或对ETL系统进行升级时，不可避免的会有停止ETL系统服务的操作。这时，就会造成业务周期调度的中断，对业务产生较大的影响。

一般情况下，为了使调度不遗漏调度任务，需要ETL的运维人员在ETL系统恢复正常或升级完成之后，检查ETL系统上布置的所有的业务流程，手动执行遗漏的周期或恢复执行失败的周期实例来确保业务的正常执行，每一次ETL的故障或升级操作，在系统上所有流程定时任务的执行检查和恢复会给运维人员带来很大的工作量，降低了数据处理效率；另一方面，这种人为的手工操作，还会延长服务的不可用时间，可能出现恢复流程执行操作时长大于ETL不可靠(故障或升级)时长，增加数据处理延迟；而且当ETL系统上流程较多的时候，这种纯粹依靠人力的恢复操作，极其容易遗漏流程，导致周期性的流程任务遗漏周期、数据丢失等非常严重的后果，降低了ETL系统的可靠性。

发明内容

本发明实施例提供一种数据处理方法、装置、系统和存储介质，解决了ETL系统不停服升级的问题，降低数据处理延迟，提高ETL系统的可靠性。

第一方面，提供一种数据处理方法，包括：

在服务启动之后，根据当前系统时间和任务调度表中记录的下次调度时间判断是否存在遗漏调度周期；

如果判断出存在遗漏调度周期，则将所述任务调度表中下次调度时间增加一个调度周期，以及将维护的遗漏周期计数参数加1后，返回执行根据当前系统时间和任务调度表中记录的下次调度时间判断是否存在有漏调度周期的步骤，直至得到的下次调度时间大于当前系统时间为止；

根据所述遗漏周期计数向执行引擎提交执行任务。

可选地，根据当前系统时间和任务调度表中记录的下次调度时间判断是否存在有漏调度周期，具体包括：

比较当前系统时间与所述下次调度时间，若所述当前系统时间大于所述下次调度时间，则确定存在遗漏调度周期；

若所述当前系统时间小于所述下次调度时间，则确定不存在遗漏调度周期。

可选地，在根据所述遗漏周期计数向执行引擎提交执行任务之前，还包括：

确定所述执行引擎的状态；以及

根据确定出的执行引擎状态，确定提交执行任务的提交方式；以及

根据所述遗漏周期计数向执行引擎提交执行任务，具体包括：

根据所述遗漏周期计数，使用确定出的提交方式向执行引擎提交执行任务。

可选地，执行引擎的状态包括可靠状态，不可靠状态和半可靠状态；以及

根据确定出的执行引擎状态，确定提交执行任务的提交方式，具体包括：