[发明专利]作业调度方法及装置

说明书

本申请提供了一种作业调度方法及装置、电子设备、计算机可读存储介质，该方法包括：获取第一作业的作业标识；确定所述第一作业的批次业务起始时间和批次业务终止时间；根据所述第一作业的作业标识、批次业务起始时间和批次业务终止时间生成第一队列；执行所述第一队列。确定当前批次作业的批次业务起始时间和批次业务终止时间，从而将数据处理作业按照时间划分为多个批次，按照批次业务起止时间对每一批次的作业生成队列并执行，由此，根据时间对数据处理作业划分批次，实现按照批次对数据进行批量处理的功能。

技术领域

本申请涉及数据仓库作业调度的技术领域，尤其涉及作业调度方法及装置、电子设备、计算机可读存储介质。

背景技术

随着数据仓库的开发，ETL(Extract-Transform-Load的缩写，指将数据从来源端经过抽取、转换、加载至目的端的过程)作业越来越多，要想把这些作业有序地执行起来，需要一个强有力的调度系统。

目前，市场上存在的调度工具种类繁多，但都存在一定的缺陷，开源的调度工具比较单一，功能不够完善，即使是商业的调度工具也缺乏企业级项目上需要用到的一些定制性功能，例如数据量过大时需要对数据按照批次进行处理。

发明内容

本申请的目的在于提供作业调度方法及装置、电子设备、计算机可读存储介质，解决现有的调度工具无法对数据按照批次进行处理的问题。

本申请的目的采用以下技术方案实现：

第一方面，本申请提供了一种作业调度方法，所述方法包括：获取第一作业的作业标识；确定所述第一作业的批次业务起始时间和批次业务终止时间；根据所述第一作业的作业标识、批次业务起始时间和批次业务终止时间生成第一队列；执行所述第一队列。该技术方案的有益效果在于，确定当前批次作业的批次业务起始时间和批次业务终止时间，从而将数据处理作业按照时间划分为多个批次，按照批次业务起止时间对每一批次的作业生成队列并执行，由此，根据时间对数据处理作业划分批次，实现按照批次对数据进行批量处理的功能。

在一些可能的实现方式中，所述第一作业是定时作业；所述方法还包括：将一个或多个定时作业的触发时间存储至定时作业触发表；遍历所述定时作业触发表，检测是否有定时作业的触发时间不晚于当前时间；若所述第一作业的触发时间不晚于当前时间，则触发所述第一作业。该技术方案的有益效果在于，使用定时作业触发表来存储定时作业的触发时间，到达作业的触发时间后自动触发作业，由此，实现定时对数据进行批量处理的功能。

在一些可能的实现方式中，所述根据所述第一作业的作业标识、批次业务起始时间和批次业务终止时间生成第一队列，包括：获取所述第一作业的触发类型；若所述第一作业的触发类型是文件触发，则检测所述第一作业是否满足第一条件，所述第一条件包括数据文件存在和FLG文件存储内容正确中的至少一种，所述数据文件存在包括所述第一作业的作业标识对应的数据文件存在，所述FLG文件存储内容正确包括所述第一作业的作业标识对应的FLG文件存储内容与所述数据文件的对应信息一致；若所述第一作业满足所述第一条件，则根据所述第一作业的作业标识、批次业务起始时间和批次业务终止时间生成第一队列。该技术方案的有益效果在于，对于触发类型是文件触发的作业，检测其数据文件和FLG文件是否满足预定条件，满足条件才生成队列并执行，由此，通过检测步骤，使满足条件的作业才能生成队列，避免不满足条件的作业生成队列。